独立站技术规范手册LEYUN · SITE SPEC & COMPONENT LIBRARY

独立站JS渲染导致AI抓取空白页面解决方案

栏目:抓取与索引 · 核实更新:2026-11-20

先说结论当页面正文由 JavaScript 在客户端注入,而爬虫不执行 JS 时,Googlebot 与 AI 爬虫拿到的HTML 里只有空壳。典型表现是源码里搜不到任何正文,AI 摘要里该页内容为空白。

适用场景

  • React / Vue / Nuxt / Next.js 等前端框架渲染的产品站与内容站
  • 正文、规格、价格由 useEffect 或客户端请求后插入的页面
  • 查看源代码看不到正文、但浏览器里显示正常的页面
  • AI 搜索引用该页面时只提取到标题与描述
JS 渲染导致空白抓取的现象对照
渲染方式爬虫看到的正文风险等级处理方式
纯客户端渲染(CSR)基本为空高改服务端渲染或静态生成
客户端水合(Hydration)视注入时机,可能为空或残缺中确保关键内容在服务端已输出
服务端渲染(SSR)完整低保持并监控缓存行为
静态生成(SSG)完整低保持构建产物与 CDN 缓存一致
延迟加载(懒加载注入)首屏空、后续有高把核心内容移出懒加载范围
机器人专用渲染按 UA 分流,可能不一致高谨慎使用,易被判为 cloaking

分步排查步骤

  1. 用 curl 直接抓取目标页面并把响应保存为文件,检查其中是否含产品名、规格等核心文本。
  2. 确认渲染方式:查看页面源码 head 里的框架标识(__NEXT_DATA__、window.__NUXT__ 等)。
  3. 优先改为服务端渲染或静态生成,把核心内容写进 HTML 源码,而不是靠客户端注入。
  4. 若必须用客户端渲染,至少把首屏核心信息(标题、规格、正文首段)用服务端方式输出。
  5. 检查是否设置了「对爬虫隐藏内容」或 User-Agent 分流渲染,若有则移除。
  6. 在 GSC 用「测试实时网址」查看 Googlebot 实际渲染结果,确认正文可读。
  7. 用同样的方式抽查 AI 爬虫 UA(如 GPTBot、PerplexityBot)的响应,确认不再是空壳。

高频踩坑误区

  • 以为 Google 一定会执行 JS —— Googlebot 会渲染,但执行有时间与成本预算,关键内容仍应放进源码。
  • 把重要内容全部放在折叠面板、Tab 切换之后,爬虫很可能拿不到。
  • 对爬虫做 User-Agent 分流返回不同内容 —— 属于 cloaking 风险,Google 明确反对。
  • 只看浏览器渲染结果做判断 —— 必须看源码和爬虫实际拿到的 HTML。
  • 忽略了 AI 爬虫:GPTBot、ClaudeBot 等多数不执行 JS,比 Googlebot 更依赖源码。

FAQ 高频问题

Googlebot 会执行 JavaScript 吗?
会渲染,但这是有限资源的后置流程,且渲染队列有延迟。技术 SEO 的稳妥做法仍是让核心内容存在于 HTML 源码中。
为什么 AI 爬虫更容易拿到空白页?
多数答案引擎的抓取器不执行 JS,也不做延迟渲染,只读原始响应。所以同一页面在 Google 结果里有摘要、在 AI 里是空白,是常见现象。
用 SSR 之后还需要注意什么?
注意 CDN 缓存策略:缓存把用户态或空壳响应缓存住,爬虫拿到的仍是错误版本。
检测工具用什么?
最直接的是用 curl 抓页面并搜索核心文本,或在 GSC 用「测试实时网址」查看实际渲染结果。
版本更新记录2026-11-20:首次发布,按 Google 官方公开文档与公开技术资料整理;后续随搜索引擎规则变化更新。涉及引擎行为的细节以 Google 官方最新文档为准。

声明:本页仅为公开技术规则的整理汇总,不构成优化承诺;涉及搜索引擎行为的描述以 Google 官方最新文档为准,具体站点请以 Search Console 实测数据为准。