Blockiert Ihre Website ChatGPT? robots.txt für KI-Crawler auf B2B-Websites
Vor dem Content kommt der Zugang. Viele Export-Websites blockieren KI-Such-Crawler versehentlich über robots.txt, ein CDN oder ein Sicherheits-Plugin. So unterscheiden Sie Such-Bots von Trainings-Bots und wissen, was Sie zulassen sollten.

Unsere IT hat letztes Jahr „KI-Bots“ auf der Website blockiert. Könnte das der Grund sein, warum ChatGPT unsere Fabrik nie zeigt, und was sollten wir zulassen?
Kurze AntwortGut möglich. KI-Unternehmen betreiben getrennte Bots für die Suche und für das Modelltraining. Laut OpenAI werden Websites, die OAI-SearchBot ausschließen, nicht in Suchantworten von ChatGPT angezeigt, während GPTBot nur das Training regelt. Lassen Sie die Such-Crawler zu (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), entscheiden Sie separat über Trainings-Bots wie GPTBot und Google-Extended und prüfen Sie, ob Ihr CDN oder Ihre Firewall sie unabhängig von robots.txt blockiert.
Das Wichtigste
- OAI-SearchBot von OpenAI zeigt Websites in der ChatGPT-Suche an; GPTBot dient dem Training. Die Einstellungen sind unabhängig, Sie können also Suche zulassen und Training verweigern.
- Laut OpenAI kann es etwa 24 Stunden dauern, bis Änderungen an robots.txt in der ChatGPT-Suche wirken.
- PerplexityBot zeigt Websites in den Ergebnissen von Perplexity an und verlinkt sie; laut Perplexity wird er nicht zum Training von Foundation-Modellen genutzt.
- Google-Extended steuert die Nutzung Ihrer Inhalte für Training und Grounding von Gemini; laut Google beeinflusst es weder Aufnahme noch Ranking in der Google-Suche.
- Firewalls und CDNs können Crawler blockieren, selbst wenn robots.txt sie zulässt; Perplexity veröffentlicht aus diesem Grund IP-Bereiche und WAF-Anleitungen.
Erstaunlich viele Export-Websites sind aus einem banalen Grund für die KI-Suche unsichtbar: Die Crawler kommen nicht hinein. Irgendwann in den letzten zwei Jahren hat jemand eine Regel „KI-Bots blockieren“ hinzugefügt, den Bot-Schutz eines CDN eingeschaltet oder ein Sicherheits-Plugin installiert. Für Menschen funktioniert die Website weiter, also fällt es niemandem auf. Dann verbringt das Team Monate damit, Inhalte umzuschreiben, die KI-Suchmaschinen nie lesen durften.
Dieser Leitfaden ist ein 30-minütiger technischer Check für Fabrik- und B2B-Websites. Er macht Sie nicht von allein sichtbar, aber wenn der Zugang kaputt ist, zählt nichts anderes, was Sie tun.
Welche KI-Crawler sind für die Suche, welche für das Training?
Der Kerngedanke: KI-Unternehmen trennen den Bot, der Seiten für Antworten findet, von dem Bot, der Inhalte für das Modelltraining sammelt. Sie können für beide unterschiedlich entscheiden.
| Unternehmen | User-Agent | Zweck (laut Dokumentation des Unternehmens) |
|---|---|---|
| OpenAI | OAI-SearchBot | Zeigt Websites in den Suchfunktionen von ChatGPT an. Ausgeschlossene Websites werden nicht in Suchantworten von ChatGPT angezeigt, können aber weiterhin als Navigationslinks erscheinen. |
| OpenAI | GPTBot | Crawlt Inhalte, die zum Training der Foundation-Modelle von OpenAI genutzt werden können. Ein Ausschluss signalisiert, dass Inhalte nicht für das Training verwendet werden sollen. |
| OpenAI | ChatGPT-User | Besucht Seiten bei bestimmten Nutzeraktionen. Laut OpenAI gelten robots.txt-Regeln dafür möglicherweise nicht, und er wird nicht genutzt, um zu entscheiden, was in der Suche erscheint. |
| Perplexity | PerplexityBot | Zeigt Websites in den Suchergebnissen von Perplexity an und verlinkt sie; wird nicht zum Crawlen von Inhalten für KI-Foundation-Modelle genutzt. |
| Perplexity | Perplexity-User | Ruft Seiten ab, wenn ein Nutzer eine Frage stellt; ignoriert robots.txt in der Regel, weil ein Nutzer den Abruf angefordert hat. |
| Google-Extended | Ein robots.txt-Token, das steuert, ob von Google gecrawlte Inhalte für Training und Grounding von Gemini genutzt werden dürfen. Es beeinflusst weder Aufnahme noch Ranking in der Google-Suche. |
Die eigenen KI-Funktionen von Google in der Suche funktionieren anders. Laut den Leitlinien von Google ist KI in die Suche eingebaut; die robots.txt-Regeln für Googlebot steuern also, wie eine Website für die Suche gecrawlt wird, einschließlich AI Overviews und AI Mode. Wer Googlebot blockiert, um „KI abzuwählen“, verschwindet auch aus den normalen Suchergebnissen.
Was sollte in der robots.txt einer Fabrik-Website stehen?
Für die meisten exportierenden Hersteller ist das Ziel, gefunden zu werden; lassen Sie also die Such-Crawler zu. Ob Sie Trainings-Crawler zulassen, ist eine Geschäftsentscheidung; ein Ausschluss entfernt Sie nicht aus der KI-Suche. Ein einfacher Ausgangspunkt sieht so aus:
| robots.txt-Zeile | Wirkung |
|---|---|
User-agent: OAI-SearchBot / Allow: / | Berechtigt für Suchantworten von ChatGPT |
User-agent: PerplexityBot / Allow: / | Berechtigt für Ergebnisse von Perplexity |
User-agent: Googlebot / Allow: / | Google-Suche, einschließlich AI Overviews und AI Mode |
User-agent: Bingbot / Allow: / | Bing-Suche |
User-agent: GPTBot / Allow oder Disallow | Ihre Entscheidung zum Modelltraining von OpenAI |
User-agent: Google-Extended / Allow oder Disallow | Ihre Entscheidung zu Training und Grounding von Gemini |
Sitemap: https://www.example.com/sitemap.xml | Hilft Crawlern, jede Seite zu finden |
Halten Sie private Bereiche wie ein Händlerportal oder Preislisten mit Login-Schutz von Crawlern fern, nicht nur mit robots.txt. Die robots.txt-Dokumentation von Google stellt klar, dass robots.txt kein Mechanismus ist, um eine Seite aus Google herauszuhalten; nutzen Sie dafür noindex oder Passwortschutz.
Warum kann eine Firewall KI-Crawler blockieren, selbst wenn robots.txt sie zulässt?
robots.txt ist eine Bitte; Ihr CDN, Ihre Firewall oder Ihr Sicherheits-Plugin ist ein Tor. Viele Bot-Schutzfunktionen fordern unbekannte Crawler heraus oder blockieren sie, bevor diese überhaupt robots.txt lesen. Google nennt unter seinen Grundlagen für KI-Funktionen, „sicherzustellen, dass das Crawling in robots.txt und von jedem CDN oder jeder Hosting-Infrastruktur zugelassen ist“. Perplexity geht weiter und veröffentlicht IP-Adresslisten und Schritt-für-Schritt-Regeln für Web Application Firewalls, damit Website-Inhaber seine Bots zulassen können. Auch OpenAI veröffentlicht IP-Bereiche für seine Crawler.
Stellen Sie der Person, die Ihr Hosting verwaltet, drei Fragen: Ist der Bot-Schutz aktiv, gibt es eine Zulassungsliste, und stehen die oben genannten Such-Crawler darauf? Prüfen Sie dann Ihre Server-Logs auf die User-Agents aus der Tabelle. Tauchen sie auf und erhalten Fehler, oder tauchen sie gar nicht auf, haben Sie das Problem gefunden.
Wie prüfen Sie den Zugang in 30 Minuten?
- Öffnen Sie yoursite.com/robots.txt. Suchen Sie nach
Disallow: /unterUser-agent: *oder unter einem KI-User-Agent. - Prüfen Sie CDN oder Firewall auf Bot-Schutz, Länder-Sperren oder Schalter für „KI-Scraper“.
- Durchsuchen Sie Ihre Server-Logs nach OAI-SearchBot, PerplexityBot und Googlebot und den Statuscodes, die sie erhalten.
- Bestätigen Sie die Indexierung in der Google Search Console für Ihre wichtigsten Produkt- und Kompetenzseiten.
- Testen Sie nach einem Tag erneut in ChatGPT. Laut OpenAI kann es etwa 24 Stunden dauern, bis Änderungen an robots.txt in der Suche sichtbar werden.
- Halten Sie die Richtlinie schriftlich fest, damit das nächste Sicherheitsupdate sie nicht rückgängig macht.
Bedeutet das Zulassen von Crawlern, dass KI Sie empfiehlt?
Nein. Zugang macht Sie berechtigt, nicht ausgewählt. Sobald Crawler Ihre Website lesen können, lauten die nächsten Fragen, ob Ihre Seiten die Fragen von Käufern mit konkreten Fakten beantworten und ob Ihre Unternehmensinformationen im Web konsistent sind. Aber der Zugang kommt zuerst. Er ist die günstigste Korrektur im GEO und die am häufigsten übersehene.
Wie ToucHigh hilft
Der GEO Autopilot von ToucHigh beginnt jedes Projekt mit dieser Art von Check:
- einer Prüfung, wo Ihre Website in ChatGPT, Perplexity, Google AI und Gemini unsichtbar ist;
- Korrekturen, die für Sie geschrieben und veröffentlicht werden, einschließlich Seiten, Antworten und Entitätsdaten;
- anschließend verfolgtem KI-Zitationsanteil, damit Sie die Wirkung des geöffneten Tors sehen.
Buchen Sie ein 30-minütiges Strategiegespräch, und wir sehen uns die KI-Sichtbarkeit Ihrer Website live an.
Fabriken und B2B-Lieferanten: So geht ToucHigh die Lieferanten-Sichtbarkeit in der KI-Suche an. Soll aus Sichtbarkeit Pipeline werden? Lernen Sie ToucHigh PRO kennen, unseren Outbound-Service mit Strategie zuerst.
Häufige Fragen
Wenn wir GPTBot blockieren, zeigt ChatGPT unsere Website dann nicht mehr?
Laut OpenAI nicht. GPTBot regelt, ob Inhalte für das Modelltraining genutzt werden dürfen; OAI-SearchBot regelt die Anzeige in der ChatGPT-Suche. Die beiden Einstellungen sind unabhängig, Sie können also GPTBot ausschließen und OAI-SearchBot trotzdem zulassen.
Entfernt uns das Blockieren von Google-Extended aus AI Overviews?
Nein. Laut Google beeinflusst Google-Extended nicht die Aufnahme in die Google-Suche, und AI Overviews und AI Mode sind Teil der Suche, gesteuert über Googlebot. Um einzuschränken, was in Snippets und KI-Funktionen erscheint, verweist Google auf nosnippet, data-nosnippet, max-snippet oder noindex.
Brauchen wir eine llms.txt-Datei, um von KI gefunden zu werden?
Laut Google brauchen Sie keine neuen maschinenlesbaren Dateien oder KI-Textdateien, um in seinen KI-Funktionen zu erscheinen. Manche Websites veröffentlichen llms.txt als zusätzliche Zusammenfassung für KI-Tools, aber sie ersetzt keine crawlbaren Seiten.
Wie lange dauert es nach der Korrektur der robots.txt, bis wir eine Veränderung sehen?
Laut OpenAI können seine Systeme etwa 24 Stunden brauchen, um sich für die Suche an eine aktualisierte robots.txt anzupassen. Ob Sie zitiert werden, hängt weiterhin von Ihren Inhalten ab; messen Sie also über die folgenden Wochen, nicht am nächsten Tag.
Quellen
- Overview of OpenAI Crawlers — OpenAI
- Perplexity Crawlers — Perplexity
- Google's common crawlers (Google-Extended) — Google Search Central
- Introduction to robots.txt — Google Search Central
- AI features and your website — Google Search Central
Warum wir das geschrieben habenWir haben diesen Beitrag geschrieben, weil wir bei jeder neuen Fabrik-Website zuerst prüfen, ob KI-Crawler hineinkommen – und die Antwort öfter „nein“ lautet, als irgendjemand erwartet.

