GEO и ИИ-поиск

Блокирует ли ваш сайт ChatGPT? robots.txt для ИИ-краулеров на B2B-сайтах

Прежде чем заниматься контентом, проверьте доступ. Многие сайты экспортёров случайно блокируют ИИ-поисковых краулеров через robots.txt, CDN или плагин безопасности. Вот как отличить поисковых ботов от обучающих и что разрешить.

Исследовательская команда ToucHighОпубликовано 6 мин чтенияРусский
Дружелюбное облачко ИИ-чата с фиолетовыми глазами опускает оранжевое ведро в чистый каменный колодец, вокруг которого стоят лабораторная колба, линейка, флакон с продуктом и пустой планшет для бумаг, а рядом без внимания лежит пыльная куча тёмных звеньев цепи.
“
Вопрос, на который отвечает статья

В прошлом году наш IT-отдел заблокировал на сайте «ИИ-ботов». Может, поэтому ChatGPT никогда не показывает нашу фабрику? И что стоит разрешить?

КороткоВполне возможно. У ИИ-компаний разные боты для поиска и для обучения моделей. OpenAI говорит, что сайты, запретившие OAI-SearchBot, не показываются в поисковых ответах ChatGPT, а GPTBot отвечает только за обучение. Разрешите поисковые краулеры (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), отдельно решите насчёт обучающих ботов вроде GPTBot и Google-Extended и проверьте, что CDN или файрвол не блокирует их независимо от robots.txt.

Главное

  • OAI-SearchBot от OpenAI показывает сайты в поиске ChatGPT; GPTBot нужен для обучения. Настройки независимы, так что можно разрешить поиск и запретить обучение.
  • OpenAI говорит, что изменения в robots.txt могут влиять на поиск ChatGPT примерно через 24 часа.
  • PerplexityBot показывает сайты и ссылки на них в результатах Perplexity и, по словам Perplexity, не используется для обучения базовых моделей.
  • Google-Extended управляет использованием вашего контента для обучения и обоснования ответов Gemini; Google говорит, что он не влияет на включение и ранжирование в Google Поиске.
  • Файрволы и CDN могут блокировать краулеров, даже если robots.txt их разрешает; именно поэтому Perplexity публикует диапазоны IP-адресов и инструкции для WAF.

Удивительно много сайтов экспортёров невидимы для ИИ-поиска по скучной причине: краулеры не могут попасть внутрь. Когда-то за последние два года кто-то добавил правило «блокировать ИИ-ботов», включил защиту от ботов в CDN или установил плагин безопасности. Для людей сайт по-прежнему работает, поэтому никто не замечает. А потом команда месяцами переписывает контент, который ИИ-поисковикам так и не разрешили прочитать.

Это руководство — 30-минутная техническая проверка для сайтов фабрик и B2B-компаний. Само по себе оно не сделает вас видимыми, но если доступ сломан, ничто другое не сработает.

Какие ИИ-краулеры работают на поиск, а какие — на обучение?

Ключевая мысль: ИИ-компании разделяют бота, который находит страницы для показа в ответах, и бота, который собирает контент для обучения моделей. Для каждого можно принять своё решение.

КомпанияUser agentНазначение (по документации компании)
OpenAIOAI-SearchBotПоказывает сайты в поисковых функциях ChatGPT. Сайты, отказавшиеся от него, не показываются в поисковых ответах ChatGPT, хотя могут появляться как навигационные ссылки.
OpenAIGPTBotСканирует контент, который может использоваться для обучения базовых моделей OpenAI. Запрет сигнализирует, что контент не следует использовать для обучения.
OpenAIChatGPT-UserПосещает страницы при определённых действиях пользователя. OpenAI говорит, что правила robots.txt могут к нему не применяться и он не используется для решения о том, что показывать в поиске.
PerplexityPerplexityBotПоказывает сайты и ссылки на них в результатах поиска Perplexity; не используется для сбора контента для базовых ИИ-моделей.
PerplexityPerplexity-UserЗагружает страницы, когда пользователь задаёт вопрос; обычно игнорирует robots.txt, поскольку загрузку запросил пользователь.
GoogleGoogle-ExtendedТокен robots.txt, определяющий, может ли сканируемый Google контент использоваться для обучения и обоснования ответов Gemini. Не влияет на включение и ранжирование в Google Поиске.

Собственные ИИ-функции Google в Поиске устроены иначе. В рекомендациях Google сказано, что ИИ встроен в Поиск, поэтому правила robots.txt для Googlebot — это способ управлять сканированием сайта для Поиска, включая AI Overviews и AI Mode. Блокировка Googlebot ради «отказа от ИИ» уберёт вас и из обычных результатов поиска.

Что должно быть в robots.txt сайта фабрики?

Для большинства производителей-экспортёров цель — чтобы их находили, поэтому разрешите поисковые краулеры. Разрешать ли обучающие краулеры — бизнес-решение; запрет не убирает вас из ИИ-поиска. Простая отправная точка выглядит так:

Строка robots.txtЭффект
User-agent: OAI-SearchBot / Allow: /Допуск к поисковым ответам ChatGPT
User-agent: PerplexityBot / Allow: /Допуск к результатам Perplexity
User-agent: Googlebot / Allow: /Google Поиск, включая AI Overviews и AI Mode
User-agent: Bingbot / Allow: /Поиск Bing
User-agent: GPTBot / Allow или DisallowВаше решение об обучении моделей OpenAI
User-agent: Google-Extended / Allow или DisallowВаше решение об обучении и обосновании ответов Gemini
Sitemap: https://www.example.com/sitemap.xmlПомогает краулерам найти каждую страницу

Закрытые разделы, например портал дилеров или прайс-листы, защищайте от краулеров авторизацией, а не только robots.txt. Документация Google по robots.txt прямо говорит, что robots.txt — не механизм, чтобы скрыть страницу от Google; для этого используйте noindex или защиту паролем.

Почему файрвол может блокировать ИИ-краулеров, даже если robots.txt их разрешает?

robots.txt — это просьба, а CDN, файрвол или плагин безопасности — это ворота. Многие функции защиты от ботов проверяют или блокируют незнакомых краулеров ещё до того, как те прочтут robots.txt. Google относит к основам для ИИ-функций «ensuring that crawling is allowed in robots.txt, and by any CDN or hosting infrastructure» (убедиться, что сканирование разрешено в robots.txt, а также любым CDN или хостинговой инфраструктурой). Perplexity идёт дальше и публикует списки IP-адресов и пошаговые правила для файрвола веб-приложений, чтобы владельцы сайтов могли пропустить её ботов. OpenAI тоже публикует диапазоны IP своих краулеров.

Задайте тому, кто управляет вашим хостингом, три вопроса: включена ли защита от ботов, есть ли у неё список разрешённых и входят ли в него перечисленные выше поисковые краулеры? Затем поищите в логах сервера user agent из таблицы. Если они появляются и получают ошибки или не появляются вовсе, проблема найдена.

Как проверить доступ за 30 минут?

  1. Откройте yoursite.com/robots.txt. Поищите Disallow: / под User-agent: * или под любым ИИ user agent.
  2. Проверьте CDN или файрвол на защиту от ботов, блокировку по странам или переключатели вроде «AI scraper».
  3. Поищите в логах сервера OAI-SearchBot, PerplexityBot и Googlebot и коды ответа, которые они получают.
  4. Подтвердите индексирование в Google Search Console для ключевых страниц товаров и возможностей.
  5. Проверьте снова в ChatGPT через сутки. OpenAI говорит, что изменения robots.txt могут отражаться в поиске примерно через 24 часа.
  6. Запишите политику, чтобы следующее обновление безопасности её не отменило.

Значит ли разрешение краулерам, что ИИ будет вас рекомендовать?

Нет. Доступ делает вас допустимым, но не выбранным. Когда краулеры могут прочитать сайт, следующие вопросы — отвечают ли ваши страницы на вопросы покупателей конкретными фактами и согласована ли информация о компании по всему интернету. Но доступ — первым делом. Это самое дешёвое исправление в GEO и самое часто упускаемое.

GEO Autopilot · Social Autopilot · Ads

Как помогает ToucHigh

GEO Autopilot от ToucHigh начинает любую работу с такой проверки:

  • аудит того, где ваш сайт невидим в ChatGPT, Perplexity, Google AI и Gemini;
  • исправления, написанные и опубликованные за вас, включая страницы, ответы и данные о сущности;
  • последующее отслеживание доли цитирований в ИИ, чтобы вы видели эффект от открытия ворот.

Запишитесь на 30-минутный стратегический звонок — мы в прямом эфире посмотрим видимость вашего сайта в ИИ.

Фабрики и B2B-поставщики: посмотрите, как ToucHigh работает с видимостью поставщиков в ИИ-поиске. Хотите превратить видимость в воронку? Узнайте о ToucHigh PRO — аутриче со стратегией прежде всего.

Вопросы и ответы

Если заблокировать GPTBot, ChatGPT перестанет показывать наш сайт?

По словам OpenAI — нет. GPTBot определяет, можно ли использовать контент для обучения моделей; OAI-SearchBot — появление в поиске ChatGPT. Эти настройки независимы, так что можно запретить GPTBot и при этом разрешить OAI-SearchBot.

Убирает ли блокировка Google-Extended нас из AI Overviews?

Нет. Google говорит, что Google-Extended не влияет на включение в Google Поиск, а AI Overviews и AI Mode — часть Поиска, управляемая через Googlebot. Чтобы ограничить показ в сниппетах и ИИ-функциях, Google указывает на nosnippet, data-nosnippet, max-snippet или noindex.

Нужен ли файл llms.txt, чтобы нас находил ИИ?

Google говорит, что для появления в его ИИ-функциях не нужны новые машиночитаемые файлы или текстовые файлы для ИИ. Некоторые сайты публикуют llms.txt как дополнительное резюме для ИИ-инструментов, но он не заменяет доступные для сканирования страницы.

Через сколько после исправления robots.txt мы увидим изменения?

OpenAI говорит, что его системам может понадобиться около 24 часов, чтобы учесть обновление robots.txt для поиска. Цитирование всё равно зависит от вашего контента, поэтому измеряйте в течение следующих недель, а не на следующий день.

Источники

  1. Overview of OpenAI Crawlers — OpenAI
  2. Perplexity Crawlers — Perplexity
  3. Google's common crawlers (Google-Extended) — Google Search Central
  4. Introduction to robots.txt — Google Search Central
  5. AI features and your website — Google Search Central

Зачем мы это написалиМы написали это, потому что первое, что мы проверяем на сайте новой фабрики, — могут ли туда попасть ИИ-краулеры, и ответ «нет» встречается чаще, чем кто-либо ожидает.

ToucHigh

Узнайте, где вас не видно в ИИ-поиске США

Запишитесь на бесплатный 30-минутный звонок, и мы вживую проведём аудит видимости вашего магазина в ИИ.

Записаться на 30-минутную стратегическую сессию →Войти в ToucHigh