Seu site está bloqueando o ChatGPT? robots.txt para crawlers de IA em sites B2B
Antes do conteúdo, verifique o acesso. Muitos sites de exportadores bloqueiam por acidente os crawlers de busca por IA via robots.txt, CDN ou plugin de segurança. Veja como diferenciar bots de busca de bots de treinamento e o que permitir.

Nossa equipe de TI bloqueou os "bots de IA" no site no ano passado. Pode ser por isso que o ChatGPT nunca mostra nossa fábrica? E o que devemos permitir?
Resposta curtaÉ bem possível. As empresas de IA operam bots separados para busca e para treinamento de modelos. A OpenAI diz que os sites que bloqueiam o OAI-SearchBot não são mostrados nas respostas de busca do ChatGPT, enquanto o GPTBot só rege o treinamento. Permita os crawlers de busca (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), decida separadamente sobre bots de treinamento como o GPTBot e o Google-Extended e confira se a sua CDN ou o seu firewall não os bloqueiam independentemente do robots.txt.
Pontos principais
- O OAI-SearchBot da OpenAI mostra sites na busca do ChatGPT; o GPTBot serve para treinamento. As configurações são independentes, então você pode permitir a busca e recusar o treinamento.
- A OpenAI diz que mudanças no robots.txt podem levar cerca de 24 horas para afetar a busca do ChatGPT.
- O PerplexityBot mostra e cita com links sites nos resultados do Perplexity e, segundo o Perplexity, não é usado para treinar modelos de base.
- O Google-Extended controla o uso do seu conteúdo para treinamento e embasamento do Gemini; o Google diz que ele não afeta a inclusão nem o ranqueamento na Pesquisa Google.
- Firewalls e CDNs podem bloquear crawlers mesmo quando o robots.txt os permite; é por isso que o Perplexity publica faixas de IP e instruções de WAF.
Um número surpreendente de sites de exportadores é invisível para a busca por IA por um motivo banal: os crawlers não conseguem entrar. Em algum momento dos últimos dois anos, alguém adicionou uma regra de "bloquear bots de IA", ativou a proteção contra bots de uma CDN ou instalou um plugin de segurança. O site continua funcionando para as pessoas, então ninguém percebe. Depois a equipe passa meses reescrevendo conteúdo que os mecanismos de busca por IA nunca tiveram permissão para ler.
Este guia é uma verificação técnica de 30 minutos para sites de fábricas e B2B. Ele não vai tornar você visível sozinho, mas, se o acesso estiver quebrado, nada mais que você fizer vai contar.
Quais crawlers de IA servem para busca e quais servem para treinamento?
A ideia principal: as empresas de IA separam o bot que encontra páginas para mostrar nas respostas do bot que coleta conteúdo para treinar modelos. Você pode fazer escolhas diferentes para cada um.
| Empresa | User agent | Finalidade (segundo a documentação da empresa) |
|---|---|---|
| OpenAI | OAI-SearchBot | Mostra sites nos recursos de busca do ChatGPT. Os sites que o bloqueiam não aparecem nas respostas de busca do ChatGPT, embora ainda possam aparecer como links de navegação. |
| OpenAI | GPTBot | Rastreia conteúdo que pode ser usado para treinar os modelos de base da OpenAI. Bloqueá-lo sinaliza que o conteúdo não deve ser usado para treinamento. |
| OpenAI | ChatGPT-User | Visita páginas em certas ações do usuário. A OpenAI diz que as regras do robots.txt podem não se aplicar e que ele não é usado para decidir o que aparece na busca. |
| Perplexity | PerplexityBot | Mostra e cita com links sites nos resultados de busca do Perplexity; não é usado para rastrear conteúdo para modelos de base de IA. |
| Perplexity | Perplexity-User | Busca páginas quando um usuário faz uma pergunta; em geral ignora o robots.txt porque foi um usuário que pediu o acesso. |
| Google-Extended | Um token do robots.txt que controla se o conteúdo rastreado pelo Google pode ser usado para treinamento e embasamento do Gemini. Ele não afeta a inclusão nem o ranqueamento na Pesquisa Google. |
Os recursos de IA do próprio Google na Pesquisa funcionam de outro jeito. As orientações do Google dizem que a IA está integrada à Pesquisa, então as regras do robots.txt para o Googlebot são o controle de como um site é rastreado para a Pesquisa, incluindo o AI Overviews e o AI Mode. Bloquear o Googlebot para "sair da IA" também tiraria você dos resultados de busca comuns.
O que o robots.txt do site de uma fábrica deve dizer?
Para a maioria dos fabricantes exportadores, o objetivo é ser encontrado, então permita os crawlers de busca. Permitir ou não os crawlers de treinamento é uma decisão de negócio; recusá-los não tira você da busca por IA. Um ponto de partida simples é este:
| Linha do robots.txt | Efeito |
|---|---|
User-agent: OAI-SearchBot / Allow: / | Elegível para as respostas de busca do ChatGPT |
User-agent: PerplexityBot / Allow: / | Elegível para os resultados do Perplexity |
User-agent: Googlebot / Allow: / | Pesquisa Google, incluindo AI Overviews e AI Mode |
User-agent: Bingbot / Allow: / | Busca do Bing |
User-agent: GPTBot / Allow ou Disallow | Sua escolha sobre o treinamento de modelos da OpenAI |
User-agent: Google-Extended / Allow ou Disallow | Sua escolha sobre o treinamento e o embasamento do Gemini |
Sitemap: https://www.example.com/sitemap.xml | Ajuda os crawlers a encontrar todas as páginas |
Mantenha áreas privadas, como um portal de revendedores ou listas de preços, longe dos crawlers com proteção por login, não só com o robots.txt. A documentação do Google sobre robots.txt é explícita: o robots.txt não é um mecanismo para manter uma página fora do Google; para isso, use noindex ou proteção por senha.
Por que um firewall pode bloquear crawlers de IA mesmo quando o robots.txt os permite?
O robots.txt é um pedido; sua CDN, seu firewall ou seu plugin de segurança são um portão. Muitos recursos de proteção contra bots desafiam ou bloqueiam crawlers desconhecidos antes mesmo de eles lerem o robots.txt. O Google inclui "garantir que o rastreamento seja permitido no robots.txt e por qualquer CDN ou infraestrutura de hospedagem" entre os fundamentos para os recursos de IA. O Perplexity vai além e publica listas de endereços IP e regras passo a passo de firewall de aplicações web para que os donos de sites possam permitir seus bots. A OpenAI também publica faixas de IP dos seus crawlers.
Faça três perguntas a quem cuida da sua hospedagem: a proteção contra bots está ativada, ela tem uma lista de permissões e os crawlers de busca acima estão nela? Depois procure nos logs do servidor os user agents da tabela. Se eles aparecem e recebem erros, ou nunca aparecem, você encontrou o problema.
Como verificar o acesso em 30 minutos?
- Abra seusite.com/robots.txt. Procure
Disallow: /sobUser-agent: *ou sob qualquer user agent de IA. - Confira a CDN ou o firewall em busca de proteção contra bots, bloqueio por país ou opções de "AI scraper".
- Pesquise nos logs do servidor por OAI-SearchBot, PerplexityBot e Googlebot e pelos códigos de status que eles recebem.
- Confirme a indexação no Google Search Console das suas principais páginas de produto e de capacidade.
- Teste de novo no ChatGPT depois de um dia. A OpenAI diz que mudanças no robots.txt podem levar cerca de 24 horas para se refletir na busca.
- Registre a política por escrito, para que a próxima atualização de segurança não a desfaça.
Permitir os crawlers significa que a IA vai recomendar você?
Não. O acesso torna você elegível; não faz você ser escolhido. Quando os crawlers conseguem ler seu site, as próximas perguntas são se suas páginas respondem às perguntas dos compradores com fatos específicos e se as informações da sua empresa são consistentes em toda a web. Mas o acesso vem primeiro. É a correção mais barata do GEO e a mais esquecida.
Como a ToucHigh ajuda
O GEO Autopilot da ToucHigh começa todo projeto com esse tipo de verificação:
- uma auditoria de onde o seu site está invisível no ChatGPT, no Perplexity, no Google AI e no Gemini;
- correções escritas e publicadas para você, incluindo páginas, respostas e dados de entidade;
- participação nas citações de IA acompanhada depois, para você ver o efeito de abrir o portão.
Agende uma conversa estratégica de 30 minutos e veremos ao vivo a visibilidade do seu site em IA.
Fábricas e fornecedores B2B: veja como a ToucHigh cuida da visibilidade de fornecedores na busca por IA. Quer transformar visibilidade em pipeline? Conheça o ToucHigh PRO, nosso serviço de prospecção com a estratégia primeiro.
Perguntas frequentes
Se bloquearmos o GPTBot, o ChatGPT vai deixar de mostrar nosso site?
Não, segundo a OpenAI. O GPTBot define se o conteúdo pode ser usado para treinar modelos; o OAI-SearchBot define a presença na busca do ChatGPT. As duas configurações são independentes, então você pode bloquear o GPTBot e ainda permitir o OAI-SearchBot.
Bloquear o Google-Extended nos tira do AI Overviews?
Não. O Google diz que o Google-Extended não afeta a inclusão na Pesquisa Google, e o AI Overviews e o AI Mode fazem parte da Pesquisa, controlados pelo Googlebot. Para limitar o que aparece nos snippets e nos recursos de IA, o Google indica nosnippet, data-nosnippet, max-snippet ou noindex.
Precisamos de um arquivo llms.txt para sermos encontrados pela IA?
O Google diz que você não precisa de novos arquivos legíveis por máquina nem de arquivos de texto para IA para aparecer nos recursos de IA dele. Alguns sites publicam o llms.txt como um resumo extra para ferramentas de IA, mas ele não substitui páginas rastreáveis.
Quanto tempo depois de corrigir o robots.txt veremos uma mudança?
A OpenAI diz que os sistemas dela podem levar cerca de 24 horas para se ajustar a uma atualização do robots.txt na busca. Ser citado ainda depende do seu conteúdo, então meça ao longo das semanas seguintes, não no dia seguinte.
Fontes
- Overview of OpenAI Crawlers — OpenAI
- Perplexity Crawlers — Perplexity
- Google's common crawlers (Google-Extended) — Google Search Central
- Introduction to robots.txt — Google Search Central
- AI features and your website — Google Search Central
Por que escrevemos istoEscrevemos isto porque a primeira coisa que verificamos no site de uma fábrica nova é se os crawlers de IA conseguem entrar, e a resposta é "não" com mais frequência do que se imagina.

