自动导出遗漏分页,不能靠“导出条数看起来差不多”来判断。更可靠的做法是:先用一个可独立复算的小样本建立基准,再把导出结果与分页接口、站点自身列表和边界记录逐层对照。若三者对不上,优先怀疑分页游标、排序不稳定或筛选条件在导出过程中被重置,而不是先怀疑站点数据本身缺失。
假设某手机端SEO工具对站内文章列表执行自动导出,界面显示共 12 页,每页 50 条,导出文件却只有 487 条。直觉会认为“少了 13 条,被漏掉了”。但这个结论成立的前提是:12 页乘以 50 条这个总数本身可信,且导出期间数据没有变化、排序保持稳定、筛选条件未被重置。缺少任何一项,487 都不能单独证明遗漏。
可复算的做法是:先只导出前 3 页,记录每页首尾记录的稳定标识(如完整URL或站内ID),再单独导出第 4 页,检查第 3 页末条与第 4 页首条是否连续。如果第 3 页末条在第 4 页再次出现,说明分页边界重叠;如果第 3 页末条和第 4 页首条之间跳过了若干记录,说明中间存在漏页。这个动作的结果直接决定下一步:重叠要按去重处理,跳号才需要追查漏页。
把导出结果与另外两个来源对照,能快速缩小解释范围:
这三组证据的作用不是互相印证“数字一致”,而是帮助判断遗漏发生在哪一层。只有确定层级后,重新导出或调整参数才有意义。
自动导出常按固定间隔请求下一页。若工具在请求之间重新计算总数,而站点数据同时有新增或删除,后一页的起点就会偏移,造成部分记录被跳过或重复。判断方法是:在导出前后各记录一次总数,并对比导出文件中页边界附近的记录。
如果导出期间总数发生变化,那么“导出条数少于预期”有合理解释,不能直接归因于工具漏抓。此时应固定数据快照或选择低变更时段重跑,再比较两次结果。若两次结果的差异只出现在变更时间点附近,说明是数据变动导致,而非分页逻辑缺陷。
页边界附近的记录最容易暴露问题。可以按以下顺序操作:
这个动作的产出是一张“边界异常位置表”。它的价值在于把“整体少了多少条”转换成“哪几处边界不可信”,后续修复或人工补录可以只针对这些位置,而不必全量重导。
判定完整需要同时满足几个条件:导出期间数据未发生影响分页的变更;排序字段具有唯一性;相邻页边界无重叠、无跳号;导出总数与末页条数符合分页公式;抽样记录能在站点列表中逐条找到对应项。缺少其中一项,结论就应写成“在假设数据不变的前提下完整”,而不是无条件完整。
如果上述条件无法全部满足,实用做法是保留导出文件、边界异常位置表和重跑前后的总数记录,交给需要这份数据的人判断是否可用。请求量或抓取量归零、条数突然减少,都可能有多种解释,不能单独作为处理正确的证据。