独立站技术规范手册LEYUN · SITE SPEC & COMPONENT LIBRARY

分页页面大量消耗爬虫预算如何屏蔽

栏目:抓取与索引 · 核实更新:2026-11-20

先说结论商品列表页按第 2、3、4 页翻页,会产生与首屏内容高度重复的大量页面。这些页面几乎不带来新关键词,却实打实地消耗抓取预算,并在索引中形成重复条目。

适用场景

  • 拥有数千 SKU 的商城或目录站
  • 列表页排序、筛选与分页可组合的站点
  • 索引中含大量「第 N 页」URL 且无流量的站点
  • 无限滚动改造前的历史分页 URL 仍在被抓取
分页处理方式对照
处理方式对抓取预算的影响对收录的影响适用场景
保留分页 + 自引用 canonical中等消耗正常收录但权重低每页有独立排序且内容不同
分页 robots 屏蔽不消耗已收录的会逐步移除分页页无独立价值
改无限滚动 + 保留可爬链接低消耗依赖脚本注入,需谨慎前端改造可行时
服务端分页 + rel=next/prev中等消耗旧标签已不再被使用已有大量分页历史 URL
只保留有限页数可控消耗深层页不收录但可控折中方案

分步排查步骤

  1. 统计当前索引里包含 page 参数的 URL 数量,以及它们累计的抓取次数。
  2. 抽查这些分页页的内容:与首屏是否重复、排序逻辑是否产生实质差异。
  3. 对无独立价值的分页:先在 robots.txt 屏蔽,再在 GSC 提交移除请求。
  4. 对确有独立价值的分页:保留可索引,但必须自引用 canonical,不要指向首屏。
  5. 检查站内是否存在「加载更多」按钮指向 ?page=N 的链接 —— 这些是预算消耗的主要入口。
  6. 评估改造成无限滚动的可行性:注意分页内容必须能被爬虫触达,纯前端注入会造成新的抓取问题。
  7. 设定每月可接受的分页深度上限(例如不超过第 3 页),并对深层页统一屏蔽。

高频踩坑误区

  • 把分页页全部 canonical 到第一页 —— 排序逻辑导致的深层页内容不同,强行收敛会损失有效页面。
  • 只改 robots 不改站内链接 —— 站内推荐位还在生成 ?page= 参数链接,预算照旧消耗。
  • 无限滚动后不做任何补救 —— 滚动加载的内容靠 JS 注入,爬虫可能完全拿不到第 2 屏。
  • 忽略已收录分页页的清理 —— robots 生效有延迟,索引里会长期残留。
  • 把「查看更多」做成 nofollow —— 这不影响抓取预算,只是让链接权重不传递。

FAQ 高频问题

分页页完全不能被收录吗?
可以收录,前提是它有独立内容且自引用 canonical。问题是多数站点的分页页内容重复,收益远低于成本。
无限滚动是不是更好的方案?
对抓取预算友好,但会引入新的可抓取性问题。只有在分页内容能被爬虫直接触达时才优于分页方案。
屏蔽分页后,索引多久会干净?
通常 4-8 周。已被索引的分页页需要被重新抓取才会看到 robots 指令,期间索引中仍会显示旧条目。
rel=next/prev 还有用吗?
Google 在 2018 年已宣布不再使用这组标签作为索引信号。现在它没有实际作用,不应作为分页优化的依据。
版本更新记录2026-11-20:首次发布,按 Google 官方公开文档与公开技术资料整理;后续随搜索引擎规则变化更新。涉及引擎行为的细节以 Google 官方最新文档为准。

声明:本页仅为公开技术规则的整理汇总,不构成优化承诺;涉及搜索引擎行为的描述以 Google 官方最新文档为准,具体站点请以 Search Console 实测数据为准。