先给有条件的结论:如果大量外链在极短时间内集中失效,且这些链接指向同一来源站、同一目录或同一批页面,优先按“源站故障”处理;如果失效链接分散在不同域名、不同发布方,只是时间上碰巧接近,则更可能是逐条失效或抓取口径变化。这个判断成立的前提是:你核对的是同一批链接、同一时间窗口,并且失效表现一致。反例是:同一来源站整体改版或迁移,也可能只影响其中一部分页面,让你误判为逐条失效。
区分源站故障与逐条失效,最直接的证据不是失效数量,而是失效链接的分布。把失效链接按来源域名、目录路径、发布时间分组。如果超过一半集中在同一域名或同一批页面,源站故障的可能性明显更高。下一步动作是打开该来源站的首页和几个正常页面,确认它是否整体不可访问、返回错误状态,或已更换站点结构。
如果失效链接分散在十几个不同域名,且每个域名只失效一两条,逐条失效更合理。此时应逐条检查原页面是否删除、改版、加了访问限制,或链接被替换。这个动作的结果会决定你下一步是等待源站恢复,还是逐条联系发布方或替换链接。
同日失效并不等于同时失效。你需要确认失效是发生在同一个小时、同一天,还是只是同一天被你发现。假设一批链接在周一上午集中报错,而来源站当天下午恢复,那更像源站临时故障;如果链接在几天内陆续失效,只是你周一统一检查,逐条失效的可能性更大。
状态码也能提供线索。同一来源站大量返回超时或连接失败,通常指向源站或网络层问题;大量返回页面不存在,则更可能是页面被删除或路径变更。这里要注意:状态码归零或抓取失败不能单独证明处理正确,它也可能是本地网络、抓取工具或访问频率限制造成的。下一步动作是换一个网络环境或换一个检查工具复测,如果结果一致,再按源站故障或逐条失效处理。
假设你有 40 条外链,其中 28 条来自同一个行业目录站,另外 12 条分散在博客、新闻站和论坛。某天检查发现 28 条同源链接全部失效,12 条分散链接中只有 2 条失效。这个分布下,先查目录站是否整体下线或改版,比逐条联系 28 个页面更合理。如果目录站首页正常,只是所有内页返回错误,仍应按源站故障处理;如果目录站首页正常、内页也正常,只是你抓取时被限制,则应先排除检查工具问题。
反过来,如果 40 条链接分散在 20 个域名,每个域名失效 1 到 2 条,且时间跨度超过一周,那就没有足够证据支持源站故障。此时逐条核对原页面是否还存在、链接是否被替换,才是更有效的动作。这个例子的数字只用于说明比较方法,不代表真实项目结果。
有一种情况会让结论失效:来源站没有整体宕机,而是进行了改版、迁移或批量删除栏目。此时首页可能正常,部分旧页面却全部失效。如果你只看首页能否打开,就会误判为逐条失效。避免这个反例的方法是:不要只检查首页,要检查同一来源站下多个不同层级的页面,并对比旧路径和新路径是否存在对应关系。
如果发现旧路径整体被新路径替代,应优先按源站结构变更处理,而不是逐条补链。下一步动作是记录旧路径与新路径的对应关系,再决定是否更新链接或等待来源站设置跳转。若来源站没有跳转且没有恢复迹象,再逐条评估是否替换。
把失效链接按来源域名分组后,按以下顺序处理:
这个顺序的价值在于:它让你先处理影响面大的来源站问题,再处理零散链接,避免把源站故障误当成逐条失效而浪费大量时间。最终判断应基于可核对的分布、时间窗口和状态表现,而不是单看失效数量。