采集规则编写老站怎样寻找改进空间：从抓取结果反推模板与字段的缺口
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5f4599eb1c52.html
📄
采集规则编写老站怎样寻找改进空间：从抓取结果反推模板与字段的缺口
对已有采集项目的老站，改进空间主要不在“再写一条新规则”，而在用现有采集结果反向检查三件事：目标字段是否漏采、页面模板是否被规则误判、翻页与去重是否稳定。做法是先固定一批已知正确的样本页，把采集输出与页面原文逐字段对照，找出差异集中出现的模板或字段，再决定是改选择器、改流程还是改存储结构。这样每次改动都有明确的判断依据，而不是凭感觉重写规则。
先判断问题出在规则还是出在流程
采集规则编写通常包含四层：入口地址生成、列表页解析、详情页字段提取、结果清洗与入库。老站改进时，先确认异常发生在哪一层，否则容易把流程问题当成选择器问题反复修改。
- 如果列表页能翻页但详情页大量为空，问题多在详情页选择器或页面结构差异。
- 如果详情页正常但数量明显偏少，问题多在入口生成或翻页终止条件。
- 如果数量正常但字段错位、串行，问题多在多个选择器匹配到同一批节点，或索引取值方式不一致。
- 如果重复数据多，问题多在唯一标识的选取，而不是提取本身。
判断方法很直接：抽 10 到 20 个样本页，手工记录期望值，再与采集结果并排比较。差异集中在同一模板，说明规则覆盖不足；差异随机分散，说明页面本身结构不统一，需要先分类再写规则。
用模板分类代替一条规则打天下
老站最常见的改进空间是页面模板已经分化，但规则仍按早期单一结构编写。此时不要急着加更多选择器，而应先给页面分类。
- 按 URL 特征、页面标题结构或正文容器差异，把样本页分成若干组。
- 统计每组页面的数量和字段完整度，优先处理占比高且缺失严重的组。
- 为每组确定一套字段提取方式，能共用则共用，不能共用就分开配置。
- 记录每组的判断条件，例如正文容器是否包含某个稳定结构，便于后续新增页面时归组。
这样做的代价是维护成本上升：模板越多，规则分支越多，改动时回归测试的范围越大。适用条件是页面差异稳定且可识别；如果差异只是偶发改版，优先用更稳健的定位方式，而不是无限增加分支。
选择器稳健性与维护代价的取舍
改进采集规则编写时，选择器写法直接影响后续维护量。常见取舍如下：
- 依赖层级路径：写起来快，但页面外层结构一变就失效，适合结构长期稳定的站点。
- 依赖语义属性或稳定文本：抗改版能力较强，但需要确认该属性在目标页面中确实唯一且不会随内容变化。
- 依赖多个候选再取首个非空：容错高，但会掩盖结构变化，适合模板已分类、需要平滑过渡的阶段。
判断结果的方式是回归测试：每次调整后，用同一批样本页重跑，比较字段完整率和错误类型。如果完整率提升但错误类型从“缺失”变成“错位”，说明候选选择器的优先级需要调整，而不是继续叠加候选。
翻页、去重与更新策略的检查项
老站采集量下降，很多时候不是字段问题，而是翻页和去重逻辑随站点变化而失效。可以按以下检查项逐条核对：
- 翻页终止条件是否依赖固定页码或固定总页数，站点改版后是否仍然成立。
- 列表页是否存在重复条目或推荐位内容，是否被误当作新条目采集。
- 唯一标识是否使用了会变化的字段，例如带时间戳的链接或会重排的序号。
- 更新策略是全量重采还是增量比对，增量比对依据的字段是否稳定。
如果唯一标识不稳定，去重就会失效，表现为同一内容反复入库。此时应改用页面中相对稳定的标识，例如固定路径中的编号，并在入库前做一次比对。适用条件是标识在目标页面中确实存在且可提取；若不存在，只能退回到内容指纹比对，代价是计算量增加且对正文变动敏感。
把改进落到一次可验证的调整
实际操作时，不必一次重构全部规则。选一个字段完整率最低的模板组，按以下步骤做一次可验证的调整：先固定 20 个样本页并记录期望值；再修改该组的字段选择器或翻页条件；然后重跑并统计完整率与错误类型；最后对比修改前后的差异，确认没有把其他组的正常结果改坏。只有当前后对比显示目标组明显改善、其他组无明显退化时，才把这次调整固化到规则中。下一步可以按同样的方法处理下一个模板组，逐步缩小缺口，而不是一次性重写整套采集规则。
