独立站robots.txt高级写法(禁止参数、禁止分页、禁止无用目录)
先说结论robots.txt 是一组按用户代理分组的路径规则。它的表达能力比多数人以为的强:支持路径通配、结束符 $、Allow 与 Disallow 的优先级规则,足以精细控制「哪些路径值得抓取」。
适用场景
- 需要精确控制爬虫抓取范围的站点
- 参数页、搜索结果页大量消耗抓取资源的站点
- 存在无价值目录(测试、备份、临时文件)的站点
- 需要在不屏蔽整站的前提下收敛抓取面的站点
| 规则写法 | 含义 | 注意事项 |
|---|---|---|
| Disallow: /search | 禁止抓取搜索结果目录 | 该目录已有的 URL 不会自动消失 |
| Disallow: /*?* | 禁止抓取所有带 query 的 URL | 会连分页一起挡掉 |
| Disallow: /*?*&sort= | 只禁止带排序参数的 URL | 需要配合 canonical |
| Disallow: /tag/ | 禁止标签目录 | 标签页有价值时不要写 |
| Allow: /product/ | 在 Disallow 下放行特定路径 | Allow 优先于同长度 Disallow |
| Disallow: /*.pdf$ | 禁止抓取 PDF 文件 | 注意 $ 结束符语义 |
| Disallow: /admin | 禁止后台目录 | 后台本来也不该被抓 |
| User-agent: * / Allow: / | 默认放行全部 | 必须放在最前或按组隔离 |
分步排查步骤
- 备份现有 robots.txt,然后在 GSC 的「robots.txt 测试工具」中验证每条规则的命中情况。
- 列出站点中不产生独立内容价值的路径类别(搜索、测试、备份、参数组合、标签)。
- 按类别逐条添加规则,每加一条就用测试工具验证实际效果。
- 把 sitemap 的 URL 路径加进 Allow —— 绝对不能屏蔽 sitemap 文件本身。
- 把服务器上真实存在的重复文件(.env、.git、备份包)也加进 Disallow。
- 改完后在 GSC 重新提交 robots.txt,并观察两周内的抓取 URL 分布变化。
- 配合 noindex 处理已被收录的屏蔽页面 —— robots 拦抓取,不删索引。
高频踩坑误区
- 用 robots.txt 代替 noindex 移除已收录的 URL —— 两者作用完全不同。
- 在 robots.txt 里屏蔽整个站点或整个目录(如 Disallow: /)—— 误伤后极难恢复。
- 写 Disallow: /*?* 却忘了自己需要收录的分页页。
- 把 sitemap 放在被 Disallow 的目录下。
- 不知道 Allow 与 Disallow 同长度时 Allow 优先,导致规则与预期相反。
- 规则里写了绝对路径而非相对于域名的路径。
FAQ 高频问题
robots.txt 屏蔽后页面还会出现在搜索结果里吗?
会。robots.txt 阻止抓取,不阻止收录。已被收录的页面需要通过 noindex 加重新抓取来移除。
Disallow: / 之后还能恢复吗?
能,改回规则并提交重新抓取即可,但期间索引可能已经被逐步清空,恢复需要时间。
robots.txt 里能写正则吗?
不能。它支持的是路径前缀匹配与两个通配符(* 与 $),不是正则表达式。
为什么我的规则不生效?
常见原因:规则写在错误的 User-agent 分组下、路径写成了绝对地址、或者服务器没有正确返回 robots.txt(检查 HTTP 状态码与 Content-Type)。
版本更新记录2026-11-20:首次发布,按 Google 官方公开文档与公开技术资料整理;后续随搜索引擎规则变化更新。涉及引擎行为的细节以 Google 官方最新文档为准。
声明:本页仅为公开技术规则的整理汇总,不构成优化承诺;涉及搜索引擎行为的描述以 Google 官方最新文档为准,具体站点请以 Search Console 实测数据为准。