独立站技术规范手册LEYUN · SITE SPEC & COMPONENT LIBRARY

独立站日志分析:快速定位爬虫不抓取原因

栏目:抓取与索引 · 核实更新:2026-11-20

先说结论搜索引擎后台的数据告诉你「结果」,服务器日志告诉你「过程」。当覆盖率报告出现异常时,只有回到访问日志按 UA、路径、状态码、响应时间四个维度切分,才能定位到是爬虫没来、来了被拒、还是来了抓不动。

适用场景

  • GSC 覆盖率异常但原因不明的站点
  • 需要判断某类页面是否被系统性拦截的站点
  • CDN、WAF、服务器日志分散在多处、需要统一结论的站点
  • 准备做站点迁移或大改版、需要基线数据的站点
日志分析的四个切分维度
维度观察指标异常信号典型结论
UA 分布Googlebot 请求占比占比骤降或为 0爬虫被拦截或降频
状态码分布404/403/429/5xx 比例403 或 429 明显偏高WAF 或限流误伤爬虫
响应时间Googlebot 请求的 TTFB 分布P95 超过 2 秒响应慢导致降频
路径分布被访问 URL 的集中度Top 10 路径占请求量七成以上预算被重复抓取消耗
抓取间隔同一 URL 相邻两次访问的时间差从分钟级变成小时级爬虫主动降频
来源路径爬虫进入内页的前置路径内页只能从 sitemap 被发现内链结构断裂

分步排查步骤

  1. 确认日志完整:站点需保留原始访问日志(含 UA 与响应时间),而不是只有统计报表。
  2. 按 UA 过滤出 Googlebot 与各 AI 爬虫,统计它们每日的请求数与触达的 URL 数量。
  3. 把这两个数字画成时间序列,观察是否有拐点 —— 拐点通常对应一次部署或配置变更。
  4. 统计 Googlebot 请求的状态码分布,403/429 优先排查 WAF 与限流规则。
  5. 取 Googlebot 请求的 TTFB 分布,看 P50 与 P95,定位慢页面类型。
  6. 统计被访问 URL 的集中度,识别出被反复抓取的路径模式。
  7. 把结论落到具体规则上:放行爬虫 IP、修正 robots、收敛 URL 集合或优化响应速度。

高频踩坑误区

  • 只看 GSC 不看日志 —— 后台数据是结果,日志是过程,排查顺序不能反。
  • 没有按 UA 过滤日志 —— 普通访客的访问模式会淹没爬虫特征。
  • 忽略响应时间维度 —— 慢是抓取降频最常见也最隐蔽的原因。
  • 用统计工具代替原始日志 —— 聚合数据看不到状态码与 UA。
  • 只在服务器上看,不看 CDN 后的真实链路 —— 有时爬虫根本没到源站。

FAQ 高频问题

日志保留多久合适?
至少 30 天,最好 90 天。收录类问题往往需要回溯到变更发生时,而变更可能发生在几周前。
CDN 场景下应该分析哪份日志?
CDN 边缘日志最真实。源站日志看不到被 CDN 直接返回的请求,会低估实际抓取量。
AI 爬虫值得单独看吗?
值得。GPTBot、ClaudeBot、PerplexityBot 的抓取模式与 Googlebot 差异明显,且它们对「客户端渲染」的容忍度更低,命中空壳页的比例更高。
日志里有 Googlebot UA 就一定是真 Googlebot 吗?
不一定。伪造 UA 是常见手法,需要结合来源 IP 段(66.249.x 等)一起判断。
版本更新记录2026-11-20:首次发布,按 Google 官方公开文档与公开技术资料整理;后续随搜索引擎规则变化更新。涉及引擎行为的细节以 Google 官方最新文档为准。

声明:本页仅为公开技术规则的整理汇总,不构成优化承诺;涉及搜索引擎行为的描述以 Google 官方最新文档为准,具体站点请以 Search Console 实测数据为准。