← 返回博客

别把 AI 爬虫挡在门外:robots.txt 自查

AI 爬虫被拦不报任何错:三层自查——robots.txt 声明、CDN/WAF 执行、内容渲染——逐 UA 决定放行。附七个爬虫 UA 对照表,和我们自查漏掉 OAI-SearchBot 的真实案例。

这篇文章做完,你能确认 AI 爬虫进得来你的网站——或者发现它正被静默拦截,并知道怎么放行。前置条件只有一条:你能查看和修改网站的 robots.txt 与 CDN 规则(找 IT 或建站方要权限)。方法是一条 UA 一条 UA 的自查清单、一张常见拦截来源对照表,外加我们当天刚发生的真实案例。

AI 爬虫自查:UA 对照、三道闸、放行写法

先认识要放行的人

「AI 爬虫」不是一种爬虫,是几类角色不同、归属不同公司、意义完全不同的访问者。放行前先分清,因为它们对 GEO 的意义不同:

用户代理 归属 干什么 对 GEO 的意义
GPTBot OpenAI 抓内容进训练与检索语料 被 ChatGPT 答案引用的原料
OAI-SearchBot OpenAI ChatGPT 搜索功能的实时检索 联网搜索时被检索到
ChatGPT-User OpenAI 用户实时触发的浏览 用户让 ChatGPT 打开你的页
ClaudeBot Anthropic 训练与检索抓取 被 Claude 答案引用的原料
PerplexityBot Perplexity 答案引擎的实时检索 被 Perplexity 引用的直接通道
Google-Extended Google 控制内容用于 Gemini 训练 Gemini 语料覆盖的开关
Googlebot Google 常规搜索抓取与索引 AI Overviews 的检索底座

两个容易搞混的点。第一,Googlebot 也是 AI 爬虫的底座——AI Overviews 的实时检索走的是 Google 搜索索引,Googlebot 进不来,AI 概览无从谈起。所以「放行 AI 爬虫」的第一步其实是确认常规搜索抓取正常。第二,训练抓取(GPTBot)和用户触发浏览(ChatGPT-User)是两回事:拦掉前者不影响后者,反之亦然。同一个公司为何发三个 UA?因为角色不同、你的取舍可能不同——这也是逐 UA 决定的原因。你想清楚每个 UA 的取舍再写规则——这份文件应该是你审过的决定,不是 CDN 的默认配置。

准备:需要什么

项 说明
robots.txt 查看与修改权限 通常在网站根目录或建站后台
CDN / 防火墙规则查看权限 Cloudflare、宝塔、云 WAF 等——常见静默拦截的藏身处
记录表 一行一个 UA:放行与否、在哪一层、依据

先说明为什么这件事值得占你一个下午:AI 引擎的实时检索是「引用」的一半来源,另一半是训练语料里的存量认知——两条通道的第一步都是抓取。抓取被拦的站,实时检索那一路从源头断掉,你后面写再多可引用材料,引擎都拿不到。这也是我们把它列为 GEO 就绪度评分里权重项的原因:门不开,分再高也是内伤。

自查的顺序是从外到内三层:DNS/CDN 层、Web 服务层、robots.txt 层。同样的故障可能藏在三个不同的地方,只查 robots.txt 查不全。

第 1 步:读 robots.txt

做什么:打开 你的域名/robots.txt,逐条核对上表 UA。为什么:这是声明的门禁,拦与放都在明面上。完成标准:知道每个 AI UA 在这份文件里是被放行、被拦、还是没提。

三种状态含义不同。「明确放行」最稳;「明确拦截」说明有人做过决定,检查是否符合你的意图;「没提」继承 User-agent: * 的规则——多数站对星号是放行的,但有些 CDN 生成的是对星号收紧的模板,这就是静默拦截的第一种来源。

合格文件里每个 UA 一个组,规则自上而下,长这样(可整段抄):

User-agent: GPTBot
Allow: /
Disallow: /app/
Disallow: /api/

按需替换目录名:私有区照写 Disallow,内容区放行。想整体放行就只留 Allow: /。

第 2 步:查 CDN 和防火墙这一层

做什么:登录 CDN 或 WAF 控制台,查「Bot 管理 / 安全策略 / UA 拦截」类设置。为什么:这一层不产生任何日志到你这边,是静默拦截最常见的原因。完成标准:确认没有规则在拦 AI UA,或已有规则但你知道并认可它。

三处常见埋伏:

  1. 「Bot 防护」默认档。 很多 CDN 的 Bot 管理默认拦截「已知 Bot」或「未验证 Bot」——名单里常有 GPTBot、ClaudeBot、PerplexityBot。你从没配置过它们,是供应商替你决定的。
  2. 安全等级「高」。 一些 WAF 的高等级策略会挑战或拦截无浏览器指纹的请求——所有 AI 爬虫都是这一类。
  3. 地域或国家拦截。 有些规则连坐整个 ASN 段(云服务商 IP 段),爬虫的出口恰好在里面。

查到拦截规则后别急着全放——看一眼它同时拦了什么。恶意爬虫确实靠同一类特征混进来,解法通常是白名单放行指定的 AI UA,而不是关掉整个防护。

第 3 步:验证内容真的可达

做什么:模拟验证关键页面能被无浏览器环境的客户端读到。为什么:门开了不等于内容可见,登录墙和纯 JS 渲染是第二道暗门。完成标准:核心页面正文在无登录、无脚本执行的前提下可读。

三个动作:

  1. 无痕窗口开核心页:正文直接可见,不需要点击展开、不需要登录。移动端也顺手开一遍——有些响应式站对移动 UA 输出的内容更少。
  2. 禁用 JavaScript 再刷新:正文还在的,爬虫读得到;正文消失的(纯前端渲染站),考虑服务端渲染或预渲染关键页。
  3. 查搜索收录:site:你的域名 核对核心页——Googlebot 是 AI Overviews 的底座,它的抓取在搜索里就有问题,先修搜索侧。

想更硬核一点,可以用命令行带 AI 爬虫的 UA 直接请求自己的站:curl -A "GPTBot" -s -o /dev/null -w "%{http_code}" https://你的域名/某页面,返回 200 是通,403 或 406 就是网络层在拦——这正是第 2 步要修的。把表里每个 UA 都跑一遍,网络层的拦截一次现形。不会用命令行的话,跳过这步也行,第 2 步的控制台检查能覆盖同样的结论。

第 4 步:写规则并留档

做什么:按第 1 步的核对结果改 robots.txt,放行该放行的 UA;把每个决定记进表里。为什么:这次不记录,明年没人说得清「这条规则是谁为什么加的」。完成标准:robots.txt 显式覆盖表里每个 UA,记录表挂在团队可见处。

显式写法的好处是语义清晰:六年后的你(或接手的人)打开文件,看到的是「GPTBot:放行,依据 2026-11 自查」,而不是「猜的,大概是默认的」。记录表只需要四列:UA、放行与否、在哪一层、日期依据。

建站工具用户也有等价操作:主流建站平台(WordPress、Shopify 等)都有编辑 robots.txt 或自定义头部的能力,SSL 证书商和 CDN 提供的「Bot 管理」面板里也能按 UA 精确放行。位置不同,原理一致——找到那两层开关,都按你的决定设一遍。

常见坑

现象 原因 解法
robots.txt 明明放行,还是没被引用 CDN/WAF 层在拦,robots 只是声明 按第 2 步查 Bot 管理、安全档位、ASN 拦截
新引擎的爬虫出现了,文件里没有 规则是半年前抄的模板 每季度扫一次官方 UA 名单,补新增
放行后流量暴涨,是恶意爬虫 放行的是爬虫 UA 声明,不是身份验证 用反向 DNS 校验(如 OpenAI 的 verify 链路),非全放
只放行了一家 只知道自己用 ChatGPT 表里七条 UA 逐个决定,别漏 PerplexityBot 这类答案引擎
Disallow 了 /app/,产品页也进不去 目录名写宽了 Disallow 精确到私有路径,内容路径 Allow

第三行多说一句:放行 AI 爬虫和防恶意爬虫不矛盾。 前者是给公开内容发通行证,后者是给私有资源关门,两件事用的是同一份规则的两个不同区块。做反了的人通常是把「拦掉一切不认识的」当成安全默认——真正的默认应该是:公开内容欢迎核对,私有内容明确拒绝。

案例:我们自查时发现自己也缺一条

写这篇文章的过程本身就是一次自查,而且当场抓到了问题。我们站的 robots.txt 是构建脚本生成的,原本覆盖五个 UA:GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended。逐条核对时对照各家官方文档,发现漏了 OAI-SearchBot——OpenAI 在 2024 年为 ChatGPT 搜索功能单独发的检索爬虫,训练走 GPTBot、用户浏览走 ChatGPT-User、搜索检索走 OAI-SearchBot,三个角色三个 UA。我们原来的文件里,OAI-SearchBot 没有显式条目,意味着它继承 User-agent: * 的规则——碰巧那个规则是放行的,所以实际没被拦;但这属于「靠默认值活命」:哪天有人把星号规则收紧,搜索检索就静默断掉,而我们不会有任何报错。

改法是把这个 UA 补成显式组,与其他 UA 同样的写法,随构建生成。这件事的教训和 llms.txt 登记那条一样:门禁文件不是写一次就完的,引擎在发新爬虫,你的文件是静止的。 每季度扫一次名单,是这套流程里最便宜的保险。顺带说明时间线的巧合:这次自查发生在写这篇文章的过程中——先列了 UA 对照表,再拿自己的文件逐条核对,第三个 UA 就出了货。清单的价值当场兑现。

顺带一个可核对的佐证:我们放行的 UA 和拦的路径是同一套逻辑管理的——内容页对 AI 爬虫敞开,/app/ 应用目录对一切爬虫关闭。你可以在 walkgeo.com/robots.txt 看到这份文件的当前状态。

怎么验证做成了

四个检查全部可自查:

  1. 声明层:robots.txt 显式覆盖表里每个 UA,curl 可读。
  2. 网络层:CDN/WAF 无针对 AI UA 的拦截规则(或已有而你知道)。
  3. 内容层:核心页无痕窗口、禁 JS 都能读到正文。
  4. 收录层:site: 查询核心页在搜索索引里。

效果验收要等:放行之后,检索通道随下一次抓取生效,材料好不好另由可引用内容的标准决定;固定问题集按周复测的口径见「怎么衡量品牌的 AI 可见性」。如果自查四层全过、引擎还是不提你,问题不在门——回去查实体和材料,顺序见「为什么 AI 搜不到你的品牌」。门、实体、材料、问题集,是同一个诊断流程的四层,这篇管的是其中最便宜也最容易被忽略的一层。

常见问题

放行 AI 爬虫会让别人白嫖我的内容吗?

公开内容本来就是给搜索引擎看的,AI 检索只是多了一类读者。真正的取舍在训练与检索分开:只想进答案不想进语料,放 PerplexityBot、OAI-SearchBot,拦 GPTBot——按 UA 分组决定,不必一刀切。

robots.txt 写了 Disallow,AI 就一定不抓吗?

不是强制。robots.txt 是协议而非防火墙,主流引擎遵守声明,但没有技术强制力。要硬拦得在网络层(WAF/UA 规则)做。反过来也一样:只改 WAF 不改 robots.txt,声明的门禁就和实际行为打架。

怎么知道某个引擎的爬虫叫什么名字?

查引擎的官方文档页——OpenAI、Anthropic、Perplexity 都有公开的 crawler 说明,写明 UA 名和用途。别用道听途说的 UA 名写规则,写错等于没写。

小站也需要管这些吗?

更需要。大站的默认配置往往有人盯着,小站的 CDN 常年挂着出厂设置——出厂设置经常是拦 AI UA 的那个档。十分钟的自查,可能解决的是「为什么一直没被引用」里最便宜的一个原因。

放行之后多久能被检索到?

随下一次抓取生效,通常以天到周计——取决于引擎对你站的抓取频率,权重高的站更快。放行解决的是「找得到」,被引用还取决于材料质量;改完按固定问题集的周节奏观察,别盯着单次问答。

AI 爬虫的放行是 GEO 里最便宜的一步:一个下午的检查,换来检索通道畅通。它决定的是「引擎找不找得到你」,而找得到之后愿不愿意引你,由实体和材料决定——那是另外两篇的事。这份文件还有一个别处替代不了的属性:它是你对所有机器说的唯一一句话, robots.txt 状态、llms.txt 导读、sitemap 收录三份文件对齐,站点的机器面就完整了。立言GEO 把 AI 爬虫放行纳入站点的 GEO 就绪度评分,缺了会直接标红,想看全貌可以查产品与定价,或从帮助中心的五分钟上手开始。

看完了?让智能体把你自己的网站跑一遍

注册进入工作台,一次跑完全部页面,拿到按优先级排好的修复清单。首次免费。

免费做一次网站审计