如何检查网站死链：批量问题怎样抽样定位
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7b16b8e00534.html
📄
如何检查网站死链：批量问题怎样抽样定位
批量检查死链时，抽样定位的核心思路是：先按来源、路径和状态码把链接分组，再从每组中抽取少量样本验证，确认问题集中在哪一类链接上，最后只对确认有问题的分组做全量扫描。抽样不是随机点几个链接，而是让样本覆盖不同的目录层级、不同的链接来源和不同的HTTP状态。
先按来源分组，再决定抽多少
站内死链的来源通常有几类：导航和页脚、正文内链、文章列表和分页、站点地图、外部反向链接指向的落地页。不同来源的失效原因不一样，抽样时要分开处理。
- 导航和页脚：链接数量少但出现在全站每个页面，抽3到5个即可，重点看是否指向已下线的栏目。
- 正文内链：数量最多、最容易失效，按发布时间或目录抽样，每批抽10到20条。
- 列表和分页：抽第一页、中间页和最后一页，重点看分页参数变化后是否返回404。
- 站点地图：抽最近新增的URL和最早收录的URL各若干条，对比可访问性。
如果站点页面数在几百以内，抽样意义不大，直接全量检查更省事。抽样适用于页面规模大、全量抓取耗时长或可能影响服务器的情况。
用状态码判断问题性质
抽到的链接需要记录HTTP状态码，不同状态码指向不同的处理方式。可以用命令行工具对样本批量请求，例如在终端执行curl -o /dev/null -s -w "%{http_code} %{url_effective}\n" 链接地址，把样本链接放进一个文本文件逐行读取即可。
- 404：目标页面不存在，属于确定的死链，需要修复或移除。
- 301或302：发生了跳转，要判断最终落地页是否与链接原意一致，跳转链路过长也应处理。
- 403：可能是服务器拒绝了抓取工具的请求，不一定是真实死链，换普通浏览器请求复查。
- 500或502：服务器端错误，属于临时或配置问题，需要在服务器恢复后重新验证。
- 超时无响应：可能是网络或服务器负载问题，不能直接判定为死链。
把样本按状态码归类后，如果某一类占比明显偏高，就说明问题集中在这个分组，可以对该分组做全量检查。如果各类都有但比例接近，说明死链是分散产生的，更适合用定期全量扫描而不是抽样修复。
两种处理方案的适用条件
批量死链的处理通常有两种方案：抽样定位后定向修复，以及全量扫描后统一处理。选择哪一种取决于站点规模和问题集中度。
- 抽样定位后定向修复：适合页面数量大、死链可能集中在少数几个模板或栏目的站点。判断依据是抽样中某一分组的问题率明显高于其他分组。优点是耗时短，能快速止血。
- 全量扫描后统一处理：适合页面数量中等、死链来源分散，或者刚做过大规模改版、目录调整的站点。判断依据是抽样中各分组问题率接近，无法确定重点。优点是覆盖完整，不会遗漏。
假设某站点改版后抽样50条链接，其中30条来自旧栏目目录且全部返回404，其余20条正常。这就是问题集中的信号，优先全量检查旧栏目目录即可，不必扫描全站。反之，如果50条样本中各类来源都有零星404，就应安排一次全量扫描。
复查与后续机制
修复完成后要回到同一批样本重新请求，确认状态码已变为200或预期的跳转。同时检查修复是否引入新的跳转链，比如把死链统一指向首页，虽然状态码正常，但对用户和搜索引擎都不是好的处理方式。
复查通过后，把这次抽样的分组方式和判断标准固定下来，作为下次检查的模板。对更新频繁的栏目提高抽样频率，对稳定内容降低频率，比每次从零开始更可持续。
下一步可以选定一个分组，用同一套状态码记录方式跑一次小规模全量检查，对比抽样结果是否一致，再决定是否扩大范围。
