Votre site bloque-t-il ChatGPT ? robots.txt et robots d'IA sur les sites B2B
Avant le contenu, vérifiez l'accès. Beaucoup de sites d'exportateurs bloquent par accident les robots de recherche IA via robots.txt, un CDN ou un plugin de sécurité. Voici comment distinguer robots de recherche et robots d'entraînement, et quoi autoriser.

Notre équipe informatique a bloqué les « robots d'IA » sur le site l'an dernier. Est-ce pour cela que ChatGPT ne montre jamais notre usine, et que faut-il autoriser ?
Réponse courteC'est bien possible. Les entreprises d'IA exploitent des robots distincts pour la recherche et pour l'entraînement des modèles. OpenAI indique que les sites qui refusent OAI-SearchBot ne sont pas affichés dans les réponses de recherche de ChatGPT, tandis que GPTBot ne concerne que l'entraînement. Autorisez les robots de recherche (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), décidez séparément pour les robots d'entraînement comme GPTBot et Google-Extended, et vérifiez que votre CDN ou votre pare-feu ne les bloque pas indépendamment de robots.txt.
À retenir
- OAI-SearchBot d'OpenAI fait apparaître des sites dans la recherche de ChatGPT ; GPTBot sert à l'entraînement. Les réglages sont indépendants : vous pouvez autoriser la recherche et refuser l'entraînement.
- OpenAI indique que les modifications de robots.txt peuvent mettre environ 24 heures à se répercuter sur la recherche de ChatGPT.
- PerplexityBot fait apparaître et cite des sites dans les résultats de Perplexity et, selon Perplexity, ne sert pas à entraîner des modèles de fondation.
- Google-Extended contrôle l'utilisation de votre contenu pour l'entraînement et l'ancrage (grounding) de Gemini ; Google indique qu'il n'a aucun effet sur l'inclusion ni le classement dans Google Search.
- Pare-feu et CDN peuvent bloquer les robots même quand robots.txt les autorise ; c'est pourquoi Perplexity publie ses plages d'adresses IP et des instructions pour les WAF.
Un nombre surprenant de sites d'exportateurs sont invisibles pour la recherche IA pour une raison banale : les robots ne peuvent pas entrer. À un moment des deux dernières années, quelqu'un a ajouté une règle « bloquer les robots d'IA », activé la protection anti-robots d'un CDN ou installé un plugin de sécurité. Le site fonctionne toujours pour les humains, donc personne ne remarque rien. Puis l'équipe passe des mois à réécrire des contenus que les moteurs de recherche IA n'ont jamais eu le droit de lire.
Ce guide est une vérification technique de 30 minutes pour les sites d'usines et de fournisseurs B2B. Elle ne vous rendra pas visible à elle seule, mais si l'accès est cassé, rien d'autre de ce que vous ferez ne comptera.
Quels robots d'IA servent à la recherche, et lesquels à l'entraînement ?
L'idée clé : les entreprises d'IA séparent le robot qui trouve les pages à montrer dans les réponses de celui qui collecte du contenu pour entraîner les modèles. Vous pouvez faire des choix différents pour chacun.
| Entreprise | User agent | Rôle (selon la documentation de l'entreprise) |
|---|---|---|
| OpenAI | OAI-SearchBot | Fait apparaître des sites dans les fonctionnalités de recherche de ChatGPT. Les sites qui le refusent ne sont pas affichés dans les réponses de recherche de ChatGPT, mais peuvent encore apparaître sous forme de liens de navigation. |
| OpenAI | GPTBot | Explore des contenus susceptibles de servir à entraîner les modèles de fondation d'OpenAI. Le refuser signale que le contenu ne doit pas servir à l'entraînement. |
| OpenAI | ChatGPT-User | Visite des pages lors de certaines actions d'utilisateurs. OpenAI indique que les règles de robots.txt peuvent ne pas s'appliquer et qu'il ne sert pas à décider ce qui apparaît dans la recherche. |
| Perplexity | PerplexityBot | Fait apparaître et cite des sites dans les résultats de recherche de Perplexity ; ne sert pas à collecter du contenu pour les modèles de fondation d'IA. |
| Perplexity | Perplexity-User | Récupère des pages quand un utilisateur pose une question ; ignore généralement robots.txt, puisque c'est un utilisateur qui a demandé la récupération. |
| Google-Extended | Un jeton robots.txt qui détermine si le contenu exploré par Google peut servir à l'entraînement et à l'ancrage de Gemini. Il n'a aucun effet sur l'inclusion ni le classement dans Google Search. |
Les propres fonctionnalités d'IA de Google dans la recherche fonctionnent autrement. Selon Google, l'IA est intégrée à la recherche : les règles robots.txt pour Googlebot sont donc le moyen de contrôler l'exploration d'un site pour la recherche, AI Overviews et AI Mode compris. Bloquer Googlebot pour « refuser l'IA » vous retirerait aussi des résultats de recherche classiques.
Que doit contenir le robots.txt d'un site d'usine ?
Pour la plupart des fabricants exportateurs, l'objectif est d'être trouvé : autorisez donc les robots de recherche. Autoriser ou non les robots d'entraînement est une décision commerciale ; les refuser ne vous retire pas de la recherche IA. Un point de départ simple ressemble à ceci :
| Ligne robots.txt | Effet |
|---|---|
User-agent: OAI-SearchBot / Allow: / | Éligible aux réponses de recherche de ChatGPT |
User-agent: PerplexityBot / Allow: / | Éligible aux résultats de Perplexity |
User-agent: Googlebot / Allow: / | Google Search, AI Overviews et AI Mode compris |
User-agent: Bingbot / Allow: / | Recherche Bing |
User-agent: GPTBot / Allow ou Disallow | Votre choix concernant l'entraînement des modèles d'OpenAI |
User-agent: Google-Extended / Allow ou Disallow | Votre choix concernant l'entraînement et l'ancrage de Gemini |
Sitemap: https://www.example.com/sitemap.xml | Aide les robots à trouver chaque page |
Protégez les zones privées, comme un portail revendeurs ou des listes de prix, par une connexion, pas seulement par robots.txt. La documentation robots.txt de Google est explicite : robots.txt n'est pas un mécanisme permettant d'exclure une page de Google ; utilisez pour cela noindex ou une protection par mot de passe.
Pourquoi un pare-feu peut-il bloquer les robots d'IA même quand robots.txt les autorise ?
robots.txt est une demande ; votre CDN, votre pare-feu ou votre plugin de sécurité est une barrière. Beaucoup de fonctions de protection anti-robots soumettent à un test ou bloquent les robots inconnus avant même qu'ils ne lisent robots.txt. Google cite parmi ses bases pour les fonctionnalités d'IA le fait de « s'assurer que l'exploration est autorisée dans robots.txt, ainsi que par tout CDN ou infrastructure d'hébergement ». Perplexity va plus loin et publie des listes d'adresses IP et des règles pas à pas pour pare-feu applicatif web, afin que les propriétaires de sites puissent autoriser ses robots. OpenAI publie aussi les plages d'adresses IP de ses robots.
Posez trois questions à la personne qui gère votre hébergement : la protection anti-robots est-elle activée, existe-t-il une liste d'autorisation, et les robots de recherche ci-dessus y figurent-ils ? Vérifiez ensuite dans vos journaux serveur la présence des user agents du tableau. S'ils apparaissent et reçoivent des erreurs, ou n'apparaissent jamais, vous avez trouvé le problème.
Comment vérifier l'accès en 30 minutes ?
- Ouvrez votresite.com/robots.txt. Cherchez
Disallow: /sousUser-agent: *ou sous un user agent d'IA. - Vérifiez le CDN ou le pare-feu : protection anti-robots, blocage par pays ou options « AI scraper ».
- Recherchez dans vos journaux serveur OAI-SearchBot, PerplexityBot et Googlebot, ainsi que les codes de statut qu'ils reçoivent.
- Confirmez l'indexation dans Google Search Console pour vos pages produit et de capacités clés.
- Refaites le test dans ChatGPT au bout d'un jour. OpenAI indique que les modifications de robots.txt peuvent mettre environ 24 heures à se refléter dans la recherche.
- Mettez la règle par écrit, pour que la prochaine mise à jour de sécurité ne la défasse pas.
Autoriser les robots signifie-t-il que l'IA vous recommandera ?
Non. L'accès vous rend éligible ; il ne vous fait pas choisir. Une fois que les robots peuvent lire votre site, les questions suivantes sont de savoir si vos pages répondent aux questions des acheteurs avec des faits précis, et si les informations sur votre entreprise sont cohérentes sur tout le Web. Mais l'accès passe en premier. C'est le correctif le moins cher du GEO, et le plus souvent oublié.
Ce que fait ToucHigh
GEO Autopilot de ToucHigh commence chaque mission par ce type de vérification :
- un audit des endroits où votre site est invisible sur ChatGPT, Perplexity, Google AI et Gemini ;
- des correctifs rédigés et publiés pour vous, dont des pages, des réponses et des données d'entité ;
- un suivi de votre part de citations IA ensuite, pour voir l'effet de l'ouverture de la barrière.
Réservez un appel stratégique de 30 minutes et nous examinerons en direct la visibilité IA de votre site.
Usines et fournisseurs B2B : découvrez comment ToucHigh gère la visibilité fournisseur dans la recherche IA. Besoin de transformer la visibilité en pipeline ? Découvrez ToucHigh PRO, notre service de prospection où la stratégie passe d'abord.
Questions fréquentes
Si nous bloquons GPTBot, ChatGPT cessera-t-il d'afficher notre site ?
Pas selon OpenAI. GPTBot détermine si le contenu peut servir à l'entraînement des modèles ; OAI-SearchBot détermine l'apparition dans la recherche de ChatGPT. Les deux réglages sont indépendants : vous pouvez refuser GPTBot et autoriser OAI-SearchBot.
Bloquer Google-Extended nous retire-t-il d'AI Overviews ?
Non. Google indique que Google-Extended n'a aucun effet sur l'inclusion dans Google Search, et AI Overviews et AI Mode font partie de la recherche, contrôlée via Googlebot. Pour limiter ce qui apparaît dans les extraits et les fonctionnalités d'IA, Google renvoie à nosnippet, data-nosnippet, max-snippet ou noindex.
Faut-il un fichier llms.txt pour être trouvé par l'IA ?
Google indique que vous n'avez besoin d'aucun nouveau fichier lisible par machine ni fichier texte pour l'IA pour apparaître dans ses fonctionnalités d'IA. Certains sites publient un llms.txt comme résumé supplémentaire pour les outils d'IA, mais il ne remplace pas des pages explorables.
Combien de temps après la correction de robots.txt verrons-nous un changement ?
OpenAI indique que ses systèmes peuvent mettre environ 24 heures à prendre en compte une mise à jour de robots.txt pour la recherche. Être cité dépend toujours de votre contenu : mesurez donc sur les semaines suivantes plutôt que le lendemain.
Sources
- Overview of OpenAI Crawlers — OpenAI
- Perplexity Crawlers — Perplexity
- Google's common crawlers (Google-Extended) — Google Search Central
- Introduction to robots.txt — Google Search Central
- AI features and your website — Google Search Central
Pourquoi nous l'avons écritNous avons écrit cet article parce que la première chose que nous vérifions sur un nouveau site d'usine est de savoir si les robots d'IA peuvent y entrer, et que la réponse est « non » plus souvent qu'on ne le croit.

