独立站技术规范手册LEYUN · SITE SPEC & COMPONENT LIBRARY

独立站robots.txt高级写法(禁止参数、禁止分页、禁止无用目录)

栏目:平台与架构 · 核实更新:2026-11-20

先说结论robots.txt 是一组按用户代理分组的路径规则。它的表达能力比多数人以为的强:支持路径通配、结束符 $、Allow 与 Disallow 的优先级规则,足以精细控制「哪些路径值得抓取」。

适用场景

  • 需要精确控制爬虫抓取范围的站点
  • 参数页、搜索结果页大量消耗抓取资源的站点
  • 存在无价值目录(测试、备份、临时文件)的站点
  • 需要在不屏蔽整站的前提下收敛抓取面的站点
robots.txt 常用规则与效果
规则写法含义注意事项
Disallow: /search禁止抓取搜索结果目录该目录已有的 URL 不会自动消失
Disallow: /*?*禁止抓取所有带 query 的 URL会连分页一起挡掉
Disallow: /*?*&sort=只禁止带排序参数的 URL需要配合 canonical
Disallow: /tag/禁止标签目录标签页有价值时不要写
Allow: /product/在 Disallow 下放行特定路径Allow 优先于同长度 Disallow
Disallow: /*.pdf$禁止抓取 PDF 文件注意 $ 结束符语义
Disallow: /admin禁止后台目录后台本来也不该被抓
User-agent: * / Allow: /默认放行全部必须放在最前或按组隔离

分步排查步骤

  1. 备份现有 robots.txt,然后在 GSC 的「robots.txt 测试工具」中验证每条规则的命中情况。
  2. 列出站点中不产生独立内容价值的路径类别(搜索、测试、备份、参数组合、标签)。
  3. 按类别逐条添加规则,每加一条就用测试工具验证实际效果。
  4. 把 sitemap 的 URL 路径加进 Allow —— 绝对不能屏蔽 sitemap 文件本身。
  5. 把服务器上真实存在的重复文件(.env、.git、备份包)也加进 Disallow。
  6. 改完后在 GSC 重新提交 robots.txt,并观察两周内的抓取 URL 分布变化。
  7. 配合 noindex 处理已被收录的屏蔽页面 —— robots 拦抓取,不删索引。

高频踩坑误区

  • 用 robots.txt 代替 noindex 移除已收录的 URL —— 两者作用完全不同。
  • 在 robots.txt 里屏蔽整个站点或整个目录(如 Disallow: /)—— 误伤后极难恢复。
  • 写 Disallow: /*?* 却忘了自己需要收录的分页页。
  • 把 sitemap 放在被 Disallow 的目录下。
  • 不知道 Allow 与 Disallow 同长度时 Allow 优先,导致规则与预期相反。
  • 规则里写了绝对路径而非相对于域名的路径。

FAQ 高频问题

robots.txt 屏蔽后页面还会出现在搜索结果里吗?
会。robots.txt 阻止抓取,不阻止收录。已被收录的页面需要通过 noindex 加重新抓取来移除。
Disallow: / 之后还能恢复吗?
能,改回规则并提交重新抓取即可,但期间索引可能已经被逐步清空,恢复需要时间。
robots.txt 里能写正则吗?
不能。它支持的是路径前缀匹配与两个通配符(* 与 $),不是正则表达式。
为什么我的规则不生效?
常见原因:规则写在错误的 User-agent 分组下、路径写成了绝对地址、或者服务器没有正确返回 robots.txt(检查 HTTP 状态码与 Content-Type)。
版本更新记录2026-11-20:首次发布,按 Google 官方公开文档与公开技术资料整理;后续随搜索引擎规则变化更新。涉及引擎行为的细节以 Google 官方最新文档为准。

声明:本页仅为公开技术规则的整理汇总,不构成优化承诺;涉及搜索引擎行为的描述以 Google 官方最新文档为准,具体站点请以 Search Console 实测数据为准。