分页页面大量消耗爬虫预算如何屏蔽
先说结论商品列表页按第 2、3、4 页翻页,会产生与首屏内容高度重复的大量页面。这些页面几乎不带来新关键词,却实打实地消耗抓取预算,并在索引中形成重复条目。
适用场景
- 拥有数千 SKU 的商城或目录站
- 列表页排序、筛选与分页可组合的站点
- 索引中含大量「第 N 页」URL 且无流量的站点
- 无限滚动改造前的历史分页 URL 仍在被抓取
| 处理方式 | 对抓取预算的影响 | 对收录的影响 | 适用场景 |
|---|---|---|---|
| 保留分页 + 自引用 canonical | 中等消耗 | 正常收录但权重低 | 每页有独立排序且内容不同 |
| 分页 robots 屏蔽 | 不消耗 | 已收录的会逐步移除 | 分页页无独立价值 |
| 改无限滚动 + 保留可爬链接 | 低消耗 | 依赖脚本注入,需谨慎 | 前端改造可行时 |
| 服务端分页 + rel=next/prev | 中等消耗 | 旧标签已不再被使用 | 已有大量分页历史 URL |
| 只保留有限页数 | 可控消耗 | 深层页不收录但可控 | 折中方案 |
分步排查步骤
- 统计当前索引里包含 page 参数的 URL 数量,以及它们累计的抓取次数。
- 抽查这些分页页的内容:与首屏是否重复、排序逻辑是否产生实质差异。
- 对无独立价值的分页:先在 robots.txt 屏蔽,再在 GSC 提交移除请求。
- 对确有独立价值的分页:保留可索引,但必须自引用 canonical,不要指向首屏。
- 检查站内是否存在「加载更多」按钮指向 ?page=N 的链接 —— 这些是预算消耗的主要入口。
- 评估改造成无限滚动的可行性:注意分页内容必须能被爬虫触达,纯前端注入会造成新的抓取问题。
- 设定每月可接受的分页深度上限(例如不超过第 3 页),并对深层页统一屏蔽。
高频踩坑误区
- 把分页页全部 canonical 到第一页 —— 排序逻辑导致的深层页内容不同,强行收敛会损失有效页面。
- 只改 robots 不改站内链接 —— 站内推荐位还在生成 ?page= 参数链接,预算照旧消耗。
- 无限滚动后不做任何补救 —— 滚动加载的内容靠 JS 注入,爬虫可能完全拿不到第 2 屏。
- 忽略已收录分页页的清理 —— robots 生效有延迟,索引里会长期残留。
- 把「查看更多」做成 nofollow —— 这不影响抓取预算,只是让链接权重不传递。
FAQ 高频问题
分页页完全不能被收录吗?
可以收录,前提是它有独立内容且自引用 canonical。问题是多数站点的分页页内容重复,收益远低于成本。
无限滚动是不是更好的方案?
对抓取预算友好,但会引入新的可抓取性问题。只有在分页内容能被爬虫直接触达时才优于分页方案。
屏蔽分页后,索引多久会干净?
通常 4-8 周。已被索引的分页页需要被重新抓取才会看到 robots 指令,期间索引中仍会显示旧条目。
rel=next/prev 还有用吗?
Google 在 2018 年已宣布不再使用这组标签作为索引信号。现在它没有实际作用,不应作为分页优化的依据。
版本更新记录2026-11-20:首次发布,按 Google 官方公开文档与公开技术资料整理;后续随搜索引擎规则变化更新。涉及引擎行为的细节以 Google 官方最新文档为准。
相关阅读
独立站 Crawl Budget 爬虫预算消耗过高原因与优化清单谷歌GSC「已抓取未索引」完整排查步骤谷歌GSC「已发现未抓取」是什么原因、如何解决独立站JS渲染导致AI抓取空白页面解决方案独立站日志分析:快速定位爬虫不抓取原因声明:本页仅为公开技术规则的整理汇总,不构成优化承诺;涉及搜索引擎行为的描述以 Google 官方最新文档为准,具体站点请以 Search Console 实测数据为准。