独立站JS渲染导致AI抓取空白页面解决方案
先说结论当页面正文由 JavaScript 在客户端注入,而爬虫不执行 JS 时,Googlebot 与 AI 爬虫拿到的HTML 里只有空壳。典型表现是源码里搜不到任何正文,AI 摘要里该页内容为空白。
适用场景
- React / Vue / Nuxt / Next.js 等前端框架渲染的产品站与内容站
- 正文、规格、价格由 useEffect 或客户端请求后插入的页面
- 查看源代码看不到正文、但浏览器里显示正常的页面
- AI 搜索引用该页面时只提取到标题与描述
| 渲染方式 | 爬虫看到的正文 | 风险等级 | 处理方式 |
|---|---|---|---|
| 纯客户端渲染(CSR) | 基本为空 | 高 | 改服务端渲染或静态生成 |
| 客户端水合(Hydration) | 视注入时机,可能为空或残缺 | 中 | 确保关键内容在服务端已输出 |
| 服务端渲染(SSR) | 完整 | 低 | 保持并监控缓存行为 |
| 静态生成(SSG) | 完整 | 低 | 保持构建产物与 CDN 缓存一致 |
| 延迟加载(懒加载注入) | 首屏空、后续有 | 高 | 把核心内容移出懒加载范围 |
| 机器人专用渲染 | 按 UA 分流,可能不一致 | 高 | 谨慎使用,易被判为 cloaking |
分步排查步骤
- 用 curl 直接抓取目标页面并把响应保存为文件,检查其中是否含产品名、规格等核心文本。
- 确认渲染方式:查看页面源码 head 里的框架标识(__NEXT_DATA__、window.__NUXT__ 等)。
- 优先改为服务端渲染或静态生成,把核心内容写进 HTML 源码,而不是靠客户端注入。
- 若必须用客户端渲染,至少把首屏核心信息(标题、规格、正文首段)用服务端方式输出。
- 检查是否设置了「对爬虫隐藏内容」或 User-Agent 分流渲染,若有则移除。
- 在 GSC 用「测试实时网址」查看 Googlebot 实际渲染结果,确认正文可读。
- 用同样的方式抽查 AI 爬虫 UA(如 GPTBot、PerplexityBot)的响应,确认不再是空壳。
高频踩坑误区
- 以为 Google 一定会执行 JS —— Googlebot 会渲染,但执行有时间与成本预算,关键内容仍应放进源码。
- 把重要内容全部放在折叠面板、Tab 切换之后,爬虫很可能拿不到。
- 对爬虫做 User-Agent 分流返回不同内容 —— 属于 cloaking 风险,Google 明确反对。
- 只看浏览器渲染结果做判断 —— 必须看源码和爬虫实际拿到的 HTML。
- 忽略了 AI 爬虫:GPTBot、ClaudeBot 等多数不执行 JS,比 Googlebot 更依赖源码。
FAQ 高频问题
Googlebot 会执行 JavaScript 吗?
会渲染,但这是有限资源的后置流程,且渲染队列有延迟。技术 SEO 的稳妥做法仍是让核心内容存在于 HTML 源码中。
为什么 AI 爬虫更容易拿到空白页?
多数答案引擎的抓取器不执行 JS,也不做延迟渲染,只读原始响应。所以同一页面在 Google 结果里有摘要、在 AI 里是空白,是常见现象。
用 SSR 之后还需要注意什么?
注意 CDN 缓存策略:缓存把用户态或空壳响应缓存住,爬虫拿到的仍是错误版本。
检测工具用什么?
最直接的是用 curl 抓页面并搜索核心文本,或在 GSC 用「测试实时网址」查看实际渲染结果。
版本更新记录2026-11-20:首次发布,按 Google 官方公开文档与公开技术资料整理;后续随搜索引擎规则变化更新。涉及引擎行为的细节以 Google 官方最新文档为准。
相关阅读
独立站 Crawl Budget 爬虫预算消耗过高原因与优化清单谷歌GSC「已抓取未索引」完整排查步骤谷歌GSC「已发现未抓取」是什么原因、如何解决独立站日志分析:快速定位爬虫不抓取原因URL动态参数泛滥造成谷歌收录垃圾页面声明:本页仅为公开技术规则的整理汇总,不构成优化承诺;涉及搜索引擎行为的描述以 Google 官方最新文档为准,具体站点请以 Search Console 实测数据为准。