为什么看博客的时候里面的链接总是 404

news/2024/7/19 8:48:01 标签: 爬虫

为什么看博客的时候里面的链接总是 404

作为一个野路子程序员,看大牛的博客是学习,进步的很重要的一个信息来源。
作为一个信息的汇聚点,博客中总会引用些其他的经典文章,或是某开源项官方文档中的重要部分。
然而由于更新博客是很低频率的事件,所以随着时间推移,很可能发生的情况是:大牛引用的另一篇文章
已经被删除,或者干脆域名到期,引用的博客关门大吉;由于开源项版本升级,原先的文档已经不适用因而
官方删除了。
So, 404...

现状

尝试测试了 阮一峰(http://www.ruanyifeng.com/blog/), 王垠(http://www.yinwang.org/) 等知名博主的博客,发现几乎都有链接失效的问题。
可见此问题很常见。

博主

大多数的博主并不是通过写博客盈利赚钱,所以不可能定期去检查以前博文中的链接是否有效。
话说回来,即便真的是通过写博客盈利赚钱,那么多的博文,也不太可能定期去检查以前博文中的链接是否有效吧。。

读者

虽然对我很不友好,破坏了上下文和文章的完整性,但是
习惯了。。认了吧。。。凑合看吧。。

中国特色

由于众所周知的原因,中国读者遇到引用链接不可访问的情况更多,并且不可访问的链接越来越多。

作为一个独立开发者,用了若干个第三方服务,CDN 等。天有不测风云风云,保不齐哪天哪个服务商就黄了,或者哪个 CDN
又被墙了。。。

尝试解决

一个可能的解决方法 link doctor

https://doctor.dry.ninja/

博主(站长)在网站注册后,系统尝试定期(每6小时1次,可设定)对网站进行一次分析,找出失效的引用的链接,或是失效的引用的资源(js, css),
并将分析结果发送给博主(站长)。

目前刚刚有想法做这个东西,并做了个简单的 Demo。
在检测的全面性和精准度方面还不做保证。如果真的有博主有这个需求,请收藏、标星。如果没有人有需求的话,就弃坑了。。
或者有什么好的建议的话,欢迎提个 issue。

github 地址在此:
https://github.com/FingerLiu/link-guard

待解决问题

  • 爬虫被 ban
  • 由于国内和国内网络环境不同,分别部署不同的服务器
  • 什么需要检测什么不需要
  • 对引用的链接进行备份(snapshot)。

转载于:https://www.cnblogs.com/s0-0s/p/8058806.html


http://www.niftyadmin.cn/n/977437.html

相关文章

【基础算法】位运算-基本运算

上一篇中我们分析了位的定义,这一篇中我们分析一下位的基本运算 1. 移动 左移n位:乘以2的n次方 右移n位:除以2的n次方 (~0)左移n位:在1后面加上n个0 (注:~0不等于1。等于11…11&…

Lombok 安装、入门 - 消除冗长的 java 代码

转载:http://www.blogjava.net/fancydeepin/archive/2012/07/12/382933.html 前言: 逛开源社区的时候无意发现的,用了一段时间,觉得还可以,特此推荐一下。 lombok 提供了简单的注解的形式来帮助我们简化消除一些…

iOS APP开发概述----学习笔记001

之前开发过一些Android APP,如今開始学习iOS开发,未来实际工作应该会用到。未雨绸缪。 一、了解其系统层次架构 其系统分层四层,其具体例如以下: 第一层:Core OS 第二层:Core Services 第三层:M…

CC框架实践(1):实现登录成功再进入目标界面功能

在掘金上看到这篇文章:android 关于先登录成功后再进入目标界面的思考,作者对实现登录成功后再跳转到目标界面功能作了比较详细的分析,对比了一些已有的实现方案并指出存在的问题。最终,作者实现了一个可同时添加多个条件判断拦截的方案&…

[TJOI2017]可乐

显然是可以dp的 可以用矩阵优化一下 (省选的dp好多都是用矩阵优化)转载于:https://www.cnblogs.com/yinwuxiao/p/8458776.html

linux下 putty 的痛苦编译之路

编译目录 /putty-版本/unix 下载地址:http://www.putty.nl/download.html 1、./configure 安装以来环境: sudo apt-get install libgtk2.0-dev libglib2.0-dev 问题: checking for GTK - version > 2.0.0... Package gtk-2.0 was not foun…

PAT 甲 1063 Set Similarity

Given two sets of integers, the similarity of the sets is defined to be N​c/N​t100%, where Nc is the number of distinct common numbers shared by the two sets, and Nt is the total number of distinct numbers in the two sets. Your job is to calculate the si…

photoshop 常用快捷键

Photoshop快捷键命令大全工具箱(多种工具共用一个快捷键的可同时按【Shift】加此快捷键选取)矩形、椭圆选框工具、单行单列选取工具 【M】裁剪工具、透视、切片、透视裁剪工具 【C】移动工具 【V】套索、多边形套索、磁性套索 【L】魔棒工具 、快速选择工具【W】污点修复画笔工…