你的官网屏蔽了ChatGPT吗?B2B网站的AI爬虫robots.txt设置
先查访问,再谈内容。很多外贸网站通过robots.txt、CDN或安全插件,无意中挡住了AI搜索爬虫。本文讲清搜索爬虫和训练爬虫的区别,以及该放行什么。

去年IT同事在官网上屏蔽了“AI机器人”。ChatGPT一直不出现我们的工厂,会不会就是这个原因?到底该放行哪些?
一句话回答很有可能。AI公司把搜索用的爬虫和模型训练用的爬虫分开运行。OpenAI说明,屏蔽OAI-SearchBot的网站不会出现在ChatGPT搜索答案里,而GPTBot只管训练。应放行搜索爬虫(OAI-SearchBot、PerplexityBot、Googlebot、Bingbot),对GPTBot、Google-Extended等训练相关的爬虫单独做决定,并检查CDN或防火墙有没有绕过robots.txt直接拦截它们。
要点速览
- OpenAI的OAI-SearchBot用于在ChatGPT搜索中展示网站,GPTBot用于训练。两者设置相互独立,可以允许搜索、拒绝训练。
- OpenAI表示,robots.txt的修改大约需要24小时才会在ChatGPT搜索中生效。
- PerplexityBot用于在Perplexity结果中展示并链接网站;Perplexity表示它不用于训练基础模型。
- Google-Extended控制内容是否用于Gemini的训练和grounding;Google表示它不影响网站在Google搜索中的收录和排名。
- 即使robots.txt允许,防火墙和CDN也可能拦截爬虫;Perplexity为此公开了IP段和WAF配置说明。
相当多的外贸网站在AI搜索里“隐身”,原因很平淡:爬虫进不来。过去两年里,有人加了一条“屏蔽AI机器人”的规则,打开了CDN的机器人防护,或者装了一个安全插件。网站对人照常可用,所以没人发现。结果团队花几个月重写内容,而AI搜索引擎根本没被允许读取这些页面。
这篇文章是一份针对工厂和B2B网站的30分钟技术检查。它本身不会让你被看见,但如果访问是断的,你做的其他工作都不会算数。
哪些AI爬虫用于搜索,哪些用于训练?
关键在于:AI公司把“为答案寻找页面”的爬虫和“为模型训练收集内容”的爬虫分开了。你可以对两者做不同选择。
| 公司 | User agent | 用途(依据各公司官方文档) |
|---|---|---|
| OpenAI | OAI-SearchBot | 在ChatGPT搜索功能中展示网站。被屏蔽的网站不会出现在ChatGPT搜索答案里,但仍可能以导航链接出现。 |
| OpenAI | GPTBot | 抓取可能用于训练OpenAI基础模型的内容。屏蔽它表示内容不应用于训练。 |
| OpenAI | ChatGPT-User | 在某些用户操作中访问网页。OpenAI表示robots.txt规则可能不适用,它也不用于决定搜索中出现什么。 |
| Perplexity | PerplexityBot | 在Perplexity搜索结果中展示并链接网站;不用于为AI基础模型抓取内容。 |
| Perplexity | Perplexity-User | 用户提问时抓取网页;因为是用户发起的请求,通常不遵守robots.txt。 |
| Google-Extended | robots.txt中的一个标识,控制Google抓取的内容能否用于Gemini训练和grounding;不影响Google搜索的收录和排名。 |
Google搜索自己的AI功能是另一回事。Google的指南说明,AI已内置于搜索之中,所以针对Googlebot的robots.txt规则,就是控制网站如何被搜索(包括AI概览和AI模式)抓取的方式。为了“退出AI”而屏蔽Googlebot,也会让你从普通搜索结果中消失。
工厂官网的robots.txt该怎么写?
对大多数出口制造商来说,目标是被找到,所以要放行搜索爬虫。是否放行训练爬虫是商业决定,拒绝它们并不会让你从AI搜索中消失。一个简单的起点如下:
| robots.txt写法 | 效果 |
|---|---|
User-agent: OAI-SearchBot / Allow: / | 有资格出现在ChatGPT搜索答案中 |
User-agent: PerplexityBot / Allow: / | 有资格出现在Perplexity结果中 |
User-agent: Googlebot / Allow: / | Google搜索,包括AI概览和AI模式 |
User-agent: Bingbot / Allow: / | Bing搜索 |
User-agent: GPTBot / Allow或Disallow | 你对OpenAI模型训练的选择 |
User-agent: Google-Extended / Allow或Disallow | 你对Gemini训练和grounding的选择 |
Sitemap: https://www.example.com/sitemap.xml | 帮助爬虫找到所有页面 |
经销商后台、价格表等私密区域,要用登录保护,而不是只靠robots.txt。Google的robots.txt文档写得很明确:robots.txt不是让页面不出现在Google中的机制,要做到这一点应使用noindex或密码保护。
为什么robots.txt允许了,防火墙仍可能拦截AI爬虫?
robots.txt只是“请求”,CDN、防火墙或安全插件才是“大门”。很多机器人防护功能会在爬虫读取robots.txt之前,就对陌生爬虫发起验证或直接拦截。Google在AI功能的基础要求中列出“确保robots.txt以及任何CDN或托管基础设施都允许抓取”。Perplexity更进一步,公开了IP地址列表和逐步的WAF规则,方便网站放行它的爬虫;OpenAI也公开了其爬虫的IP段。
问负责网站托管的人三个问题:机器人防护开了吗?有没有白名单?上表中的搜索爬虫在不在白名单里?然后在服务器日志里搜索表中的user agent。如果它们出现了但收到错误,或者根本没有出现,问题就找到了。
30分钟怎么检查访问?
- 打开 你的网站/robots.txt。看
User-agent: *或任何AI爬虫下面有没有Disallow: /。 - 检查CDN或防火墙的机器人防护、地区封锁或“AI爬虫”开关。
- 搜索服务器日志中的OAI-SearchBot、PerplexityBot和Googlebot,看它们收到的状态码。
- 在Google Search Console确认核心产品页和能力页已被收录。
- 一天后在ChatGPT里复测。OpenAI表示robots.txt的修改大约24小时后才会在搜索中生效。
- 把规则写成文档,避免下次安全更新又把它改回去。
放行爬虫,AI就会推荐你吗?
不会。访问只让你“有资格”,不代表“被选中”。爬虫能读取网站之后,接下来要看页面是否用具体事实回答了买家的问题,公司信息在全网是否一致。但访问永远是第一步:它是GEO里成本最低、也最常被忽略的修复。
ToucHigh 能帮您做什么
ToucHigh的GEO Autopilot在每次服务开始时都会做这类检查:
- 审计你的网站在ChatGPT、Perplexity、Google AI和Gemini中的曝光盲区;
- 为你撰写并上线修复内容,包括页面、问答和实体数据;
- 之后持续追踪AI引用份额,看清打开大门带来的变化。
可以预约30分钟策略沟通,我们在线一起看看你网站的AI可见度。
工厂与B2B供应商:看看ToucHigh如何提升AI搜索中的供应商可见度。 需要把曝光变成商机?了解策略先行的外拓获客服务ToucHigh PRO。
常见问题
屏蔽GPTBot,ChatGPT就不显示我们的网站了吗?
按OpenAI的说法不会。GPTBot决定内容能否用于模型训练,OAI-SearchBot决定能否出现在ChatGPT搜索中。两项设置相互独立,你可以屏蔽GPTBot、同时放行OAI-SearchBot。
屏蔽Google-Extended会让我们从AI概览中消失吗?
不会。Google表示Google-Extended不影响Google搜索的收录,而AI概览和AI模式属于搜索的一部分,由Googlebot控制。如果想限制摘要和AI功能中显示的内容,Google建议使用nosnippet、data-nosnippet、max-snippet或noindex。
被AI找到需要llms.txt文件吗?
Google表示,出现在其AI功能中不需要新的机器可读文件或AI文本文件。一些网站会发布llms.txt,作为给AI工具的额外摘要,但它不能替代可抓取的页面。
修改robots.txt后多久能看到变化?
OpenAI表示,其系统大约需要24小时来适应搜索相关的robots.txt更新。能否被引用仍取决于内容,所以要在之后几周持续测量,而不是第二天就下结论。
参考来源
- Overview of OpenAI Crawlers — OpenAI
- Perplexity Crawlers — Perplexity
- Google's common crawlers (Google-Extended) — Google Search Central
- Introduction to robots.txt — Google Search Central
- AI features and your website — Google Search Central
我们为什么写这篇我们写这篇,是因为接手一个新的工厂官网时,我们第一件事就是检查AI爬虫能不能进来,而答案是“不能”的情况比大家想象的多。

