死链工具：源站正常而边缘节点异常时应保留哪些证据
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d9d0de8915a4.html
📄
死链工具：源站正常而边缘节点异常时应保留哪些证据
当源站返回正常、边缘节点却对同一 URL 返回 404 或 5xx 时，死链工具报出的异常不能直接当作源站死链处理。此时最该保留的是能证明“差异发生在哪一层”的证据：同一 URL 的源站响应、边缘响应、请求头、时间戳和节点标识。缺少完整日志或 CDN 权限时，仍可用带时间与节点信息的响应头截图、curl 输出和死链工具导出结果组成最小证据链，但只能证明“边缘层存在不一致”，不能据此推断源站内容已删除或应直接改 robots.txt。
先固定一个假设情境，避免边查边改
假设某栏目页在源站服务器上返回 200，但经过边缘节点后，死链工具连续两次把它记为 404。运营想直接在 robots.txt 里屏蔽该路径，或让开发删除页面。这个动作风险很高：如果异常只出现在某个边缘节点或某次回源，屏蔽或删除会把原本可访问的页面真正移除。正确顺序是先把“源站正常”和“边缘异常”分别取证，再决定是修缓存、改回源规则，还是确认页面确实应下线。
必须保留的五类证据
- 同一 URL 的两份响应：一份直连源站或绕过边缘的响应，一份经边缘节点的响应。两者都要包含状态码、响应头和请求时间。仅有死链工具的状态码不够，因为它无法说明请求经过了哪一层。
- 边缘节点标识与时间戳：响应头里常见的节点、缓存命中或回源标记要一并保留。没有节点标识时，至少记录请求发起位置、DNS 解析结果和精确到秒的时间，便于判断是否为单节点问题。
- 完整请求头：包括 User-Agent、Accept、Referer 和 Cookie 的有无。死链工具与浏览器请求头不同，边缘节点可能据此返回不同结果，缺请求头就无法复现。
- 死链工具的原始导出：保留扫描时间、扫描入口、状态码和重定向链，不要只截一张汇总图。导出文件能证明工具当时看到的结果，也能和后续复测对比。
- 变更记录：边缘缓存规则、回源配置、WAF 规则和发布记录的时间点。若异常出现在某次配置变更之后，这条时间线比单次状态码更有解释力。
缺少权限时能做什么，不能推出什么
如果没有 CDN 后台权限，可以做的动作是：用 curl -I 分别请求源站地址和公网地址，保存输出；在死链工具里对同一 URL 复测并导出；记录本机 DNS 解析到的边缘 IP。做完这些，下一步应是把证据交给有权限的人核对缓存与回源规则，而不是自行修改 robots.txt。
需要明确的是，边缘返回 404 不能推出源站页面已删除，也不能推出搜索引擎一定已将其视为死链。抓取量或请求量归零同样有多种解释：可能是抓取预算调整、robots.txt 限制、节点缓存命中，或工具本身请求失败。这些现象只能作为线索，不能单独证明处理正确。
用一份最小证据表推动下一步
把上述信息整理成一行一条的记录：URL、直连状态码、边缘状态码、节点标识、请求时间、请求头摘要、死链工具导出文件名。若直连 200、边缘 404 且集中在同一节点，优先排查该节点的缓存与回源；若直连也异常，才回到源站排查。若边缘状态码随请求头变化，先核对 WAF 或 UA 规则。这个动作的结果直接决定下一步是修边缘配置、改回源策略，还是确认页面确实需要下线并另行处理索引移除。
最后，robots.txt 的抓取限制不等于可靠的索引移除，站点地图也不保证收录。边缘异常修复后，仍应复测并保留修复前后的两份证据，才能判断问题是否真正闭环。
