独立站日志分析:快速定位爬虫不抓取原因
先说结论搜索引擎后台的数据告诉你「结果」,服务器日志告诉你「过程」。当覆盖率报告出现异常时,只有回到访问日志按 UA、路径、状态码、响应时间四个维度切分,才能定位到是爬虫没来、来了被拒、还是来了抓不动。
适用场景
- GSC 覆盖率异常但原因不明的站点
- 需要判断某类页面是否被系统性拦截的站点
- CDN、WAF、服务器日志分散在多处、需要统一结论的站点
- 准备做站点迁移或大改版、需要基线数据的站点
| 维度 | 观察指标 | 异常信号 | 典型结论 |
|---|---|---|---|
| UA 分布 | Googlebot 请求占比 | 占比骤降或为 0 | 爬虫被拦截或降频 |
| 状态码分布 | 404/403/429/5xx 比例 | 403 或 429 明显偏高 | WAF 或限流误伤爬虫 |
| 响应时间 | Googlebot 请求的 TTFB 分布 | P95 超过 2 秒 | 响应慢导致降频 |
| 路径分布 | 被访问 URL 的集中度 | Top 10 路径占请求量七成以上 | 预算被重复抓取消耗 |
| 抓取间隔 | 同一 URL 相邻两次访问的时间差 | 从分钟级变成小时级 | 爬虫主动降频 |
| 来源路径 | 爬虫进入内页的前置路径 | 内页只能从 sitemap 被发现 | 内链结构断裂 |
分步排查步骤
- 确认日志完整:站点需保留原始访问日志(含 UA 与响应时间),而不是只有统计报表。
- 按 UA 过滤出 Googlebot 与各 AI 爬虫,统计它们每日的请求数与触达的 URL 数量。
- 把这两个数字画成时间序列,观察是否有拐点 —— 拐点通常对应一次部署或配置变更。
- 统计 Googlebot 请求的状态码分布,403/429 优先排查 WAF 与限流规则。
- 取 Googlebot 请求的 TTFB 分布,看 P50 与 P95,定位慢页面类型。
- 统计被访问 URL 的集中度,识别出被反复抓取的路径模式。
- 把结论落到具体规则上:放行爬虫 IP、修正 robots、收敛 URL 集合或优化响应速度。
高频踩坑误区
- 只看 GSC 不看日志 —— 后台数据是结果,日志是过程,排查顺序不能反。
- 没有按 UA 过滤日志 —— 普通访客的访问模式会淹没爬虫特征。
- 忽略响应时间维度 —— 慢是抓取降频最常见也最隐蔽的原因。
- 用统计工具代替原始日志 —— 聚合数据看不到状态码与 UA。
- 只在服务器上看,不看 CDN 后的真实链路 —— 有时爬虫根本没到源站。
FAQ 高频问题
日志保留多久合适?
至少 30 天,最好 90 天。收录类问题往往需要回溯到变更发生时,而变更可能发生在几周前。
CDN 场景下应该分析哪份日志?
CDN 边缘日志最真实。源站日志看不到被 CDN 直接返回的请求,会低估实际抓取量。
AI 爬虫值得单独看吗?
值得。GPTBot、ClaudeBot、PerplexityBot 的抓取模式与 Googlebot 差异明显,且它们对「客户端渲染」的容忍度更低,命中空壳页的比例更高。
日志里有 Googlebot UA 就一定是真 Googlebot 吗?
不一定。伪造 UA 是常见手法,需要结合来源 IP 段(66.249.x 等)一起判断。
版本更新记录2026-11-20:首次发布,按 Google 官方公开文档与公开技术资料整理;后续随搜索引擎规则变化更新。涉及引擎行为的细节以 Google 官方最新文档为准。
相关阅读
独立站 Crawl Budget 爬虫预算消耗过高原因与优化清单谷歌GSC「已抓取未索引」完整排查步骤谷歌GSC「已发现未抓取」是什么原因、如何解决独立站JS渲染导致AI抓取空白页面解决方案URL动态参数泛滥造成谷歌收录垃圾页面声明:本页仅为公开技术规则的整理汇总,不构成优化承诺;涉及搜索引擎行为的描述以 Google 官方最新文档为准,具体站点请以 Search Console 实测数据为准。