GEO at AI search

Bina-block ba ng Website Mo ang ChatGPT? robots.txt para sa AI Crawler sa mga B2B Site

Bago ang content, i-check ang access. Maraming export website ang hindi sinasadyang nagba-block ng AI search crawler sa pamamagitan ng robots.txt, CDN o security plugin. Ganito makikilala ang search bot sa training bot at kung ano ang dapat payagan.

ToucHigh Research TeamNailathala 6 minutong basaFilipino
Isang palakaibigang AI chat bubble na may violet na mata ang nagbababa ng orange na timba sa isang malinis na balong bato na napapalibutan ng lab flask, ruler, bote ng produkto at blangkong clipboard, habang hindi pinapansin ang maalikabok na tambak ng maiitim na kadena sa malapit.
“
Ang tanong sa likod ng artikulong ito

Bina-block ng IT team namin ang "AI bots" sa website noong nakaraang taon. Iyon ba ang dahilan kung bakit hindi kailanman ipinapakita ng ChatGPT ang factory namin, at ano ang dapat naming payagan?

Maikling sagotPosibleng-posible. Magkahiwalay na bot ang pinapatakbo ng mga AI company para sa search at para sa model training. Sabi ng OpenAI, hindi ipinapakita sa ChatGPT search answers ang mga site na nag-opt out sa OAI-SearchBot, habang training lang ang sakop ng GPTBot. Payagan ang mga search crawler (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), magpasya nang hiwalay tungkol sa mga training bot gaya ng GPTBot at Google-Extended, at i-check na hindi sila bina-block ng CDN o firewall mo anuman ang nasa robots.txt.

Mahahalagang punto

  • Ipinapakita ng OAI-SearchBot ng OpenAI ang mga site sa ChatGPT search; para sa training ang GPTBot. Magkahiwalay ang settings, kaya puwede mong payagan ang search at tanggihan ang training.
  • Sabi ng OpenAI, puwedeng umabot nang mga 24 oras bago maapektuhan ng pagbabago sa robots.txt ang ChatGPT search.
  • Ipinapakita at nili-link ng PerplexityBot ang mga site sa resulta ng Perplexity at, ayon sa Perplexity, hindi ito ginagamit para mag-train ng foundation model.
  • Kinokontrol ng Google-Extended ang paggamit ng content mo para sa Gemini training at grounding; sabi ng Google, hindi nito naaapektuhan ang pagkakasama o ranking sa Google Search.
  • Kayang i-block ng firewall at CDN ang mga crawler kahit pinapayagan sila ng robots.txt; dahil dito, naglalathala ang Perplexity ng IP range at WAF instructions.

Nakakagulat kung gaano karaming export website ang hindi nakikita sa AI search dahil sa isang nakakabagot na dahilan: hindi makapasok ang mga crawler. Sa nakalipas na dalawang taon, may nagdagdag ng "block AI bots" na rule, nag-on ng bot protection ng CDN o nag-install ng security plugin. Gumagana pa rin ang site para sa mga tao, kaya walang nakakapansin. Pagkatapos, ilang buwang isinusulat muli ng team ang content na hindi kailanman pinayagang basahin ng mga AI search engine.

Ang gabay na ito ay 30-minutong technical check para sa mga factory at B2B website. Hindi ka nito gagawing visible nang mag-isa, pero kung sira ang access, walang ibang gagawin mo ang mabibilang.

Aling mga AI crawler ang para sa search, at alin ang para sa training?

Ang pangunahing ideya: hinihiwalay ng mga AI company ang bot na naghahanap ng mga page na ipapakita sa sagot mula sa bot na nangongolekta ng content para sa model training. Puwede kang gumawa ng magkaibang pagpili para sa bawat isa.

KumpanyaUser agentLayunin (ayon sa dokumentasyon ng kumpanya)
OpenAIOAI-SearchBotIpinapakita ang mga website sa search features ng ChatGPT. Hindi ipinapakita sa ChatGPT search answers ang mga site na nag-opt out, pero puwede pa rin silang lumabas bilang navigational link.
OpenAIGPTBotNagka-crawl ng content na puwedeng gamitin para i-train ang foundation model ng OpenAI. Ang pag-disallow dito ay senyales na hindi dapat gamitin ang content para sa training.
OpenAIChatGPT-UserBumibisita sa mga page para sa ilang aksyon ng user. Sabi ng OpenAI, puwedeng hindi umiral dito ang robots.txt rules at hindi ito ginagamit para magpasya kung ano ang lalabas sa search.
PerplexityPerplexityBotIpinapakita at nili-link ang mga website sa search results ng Perplexity; hindi ginagamit para mag-crawl ng content para sa AI foundation model.
PerplexityPerplexity-UserKumukuha ng mga page kapag may nagtanong na user; kadalasang hindi sinusunod ang robots.txt dahil user ang humiling ng pagkuha.
GoogleGoogle-ExtendedIsang robots.txt token na kumokontrol kung puwedeng gamitin para sa Gemini training at grounding ang content na kina-crawl ng Google. Hindi nito naaapektuhan ang pagkakasama o ranking sa Google Search.

Iba ang paggana ng sariling AI features ng Google sa Search. Sabi ng gabay ng Google, nakapaloob ang AI sa Search, kaya ang robots.txt rules para sa Googlebot ang kontrol sa kung paano kina-crawl ang isang site para sa Search, kabilang ang AI Overviews at AI Mode. Ang pag-block sa Googlebot para "mag-opt out sa AI" ay mag-aalis din sa iyo sa ordinaryong search results.

Ano ang dapat nakasaad sa robots.txt ng isang factory website?

Para sa karamihan ng export manufacturer, ang layunin ay mahanap, kaya payagan ang mga search crawler. Desisyong pang-negosyo kung papayagan ang mga training crawler; hindi ka maaalis sa AI search kapag tinanggihan mo sila. Ganito ang hitsura ng simpleng panimula:

Linya sa robots.txtEpekto
User-agent: OAI-SearchBot / Allow: /Eligible para sa ChatGPT search answers
User-agent: PerplexityBot / Allow: /Eligible para sa resulta ng Perplexity
User-agent: Googlebot / Allow: /Google Search, kabilang ang AI Overviews at AI Mode
User-agent: Bingbot / Allow: /Bing search
User-agent: GPTBot / Allow o DisallowIkaw ang magpapasya tungkol sa model training ng OpenAI
User-agent: Google-Extended / Allow o DisallowIkaw ang magpapasya tungkol sa Gemini training at grounding
Sitemap: https://www.example.com/sitemap.xmlTinutulungan ang mga crawler na mahanap ang bawat page

Ilayo sa mga crawler ang mga pribadong bahagi, gaya ng dealer portal o price list, gamit ang login protection, hindi lang robots.txt. Tahasang sinasabi ng robots.txt documentation ng Google na hindi mekanismo ang robots.txt para hindi mapasama ang isang page sa Google; gumamit ng noindex o password protection para diyan.

Bakit kayang i-block ng firewall ang AI crawler kahit pinapayagan sila ng robots.txt?

Pakiusap ang robots.txt; tarangkahan ang CDN, firewall o security plugin mo. Maraming bot-protection feature ang humahamon o nagba-block sa mga hindi kilalang crawler bago pa nila mabasa ang robots.txt. Kasama sa basics ng Google para sa AI features ang "ensuring that crawling is allowed in robots.txt, and by any CDN or hosting infrastructure". Mas malayo pa ang Perplexity at naglalathala ito ng mga listahan ng IP address at hakbang-hakbang na web application firewall rules para mapayagan ng mga may-ari ng site ang mga bot nito. Naglalathala rin ang OpenAI ng IP range para sa mga crawler nito.

Tanungin ang humahawak ng hosting mo ng tatlong tanong: naka-on ba ang bot protection, may allow list ba ito, at nasa listahan ba ang mga search crawler sa itaas? Pagkatapos, i-check ang server logs mo para sa mga user agent sa table. Kung lumalabas sila at nakakatanggap ng error, o hindi kailanman lumalabas, nahanap mo na ang problema.

Paano i-check ang access sa loob ng 30 minuto?

  1. Buksan ang yoursite.com/robots.txt. Hanapin ang Disallow: / sa ilalim ng User-agent: * o sa ilalim ng anumang AI user agent.
  2. I-check ang CDN o firewall para sa bot protection, country blocking o mga "AI scraper" toggle.
  3. Hanapin sa server logs mo ang OAI-SearchBot, PerplexityBot at Googlebot, at ang mga status code na natatanggap nila.
  4. Kumpirmahin ang indexing sa Google Search Console para sa mga pangunahing product at capability page mo.
  5. Mag-test muli sa ChatGPT pagkalipas ng isang araw. Sabi ng OpenAI, puwedeng umabot nang mga 24 oras bago lumabas sa search ang pagbabago sa robots.txt.
  6. Isulat ang policy, para hindi ito mabura ng susunod na security update.

Ibig bang sabihin ng pagpayag sa crawler ay irerekomenda ka ng AI?

Hindi. Ginagawa kang eligible ng access; hindi ka nito ginagawang napili. Kapag kaya nang basahin ng mga crawler ang site mo, ang susunod na tanong ay kung sinasagot ng mga page mo ang tanong ng mga buyer gamit ang tiyak na facts, at kung consistent ang impormasyon ng kumpanya mo sa buong web. Pero access ang nauuna. Ito ang pinakamurang ayos sa GEO at ang pinakamadalas makaligtaan.

GEO Autopilot · Social Autopilot · Ads

Paano tumutulong ang ToucHigh

Sinisimulan ng GEO Autopilot ng ToucHigh ang bawat engagement sa ganitong check:

  • audit kung saan hindi nakikita ang site mo sa ChatGPT, Perplexity, Google AI at Gemini;
  • mga ayos na isinusulat at inilalathala para sa iyo, kabilang ang pages, sagot at entity data;
  • AI-citation share na tina-track pagkatapos, para makita mo ang epekto ng pagbubukas ng tarangkahan.

Mag-book ng 30-minutong strategy call at titingnan natin nang live ang AI visibility ng site mo.

Mga factory at B2B supplier: tingnan kung paano hinahawakan ng ToucHigh ang supplier visibility sa AI search. Gustong gawing pipeline ang visibility? Tingnan ang ToucHigh PRO, strategy-first na outreach.

FAQ

Kung iba-block namin ang GPTBot, titigil ba ang ChatGPT sa pagpapakita ng site namin?

Hindi, ayon sa OpenAI. Kinokontrol ng GPTBot kung puwedeng gamitin ang content para sa model training; kinokontrol ng OAI-SearchBot ang paglabas sa ChatGPT search. Magkahiwalay ang dalawang setting, kaya puwede mong i-disallow ang GPTBot at payagan pa rin ang OAI-SearchBot.

Aalisin ba kami sa AI Overviews kapag bina-block ang Google-Extended?

Hindi. Sabi ng Google, hindi naaapektuhan ng Google-Extended ang pagkakasama sa Google Search, at bahagi ng Search ang AI Overviews at AI Mode, na kinokontrol sa pamamagitan ng Googlebot. Para limitahan ang lumalabas sa snippets at AI features, tinuturo ng Google ang nosnippet, data-nosnippet, max-snippet o noindex.

Kailangan ba namin ng llms.txt file para mahanap ng AI?

Sabi ng Google, hindi mo kailangan ng bagong machine-readable file o AI text file para lumabas sa AI features nito. May mga site na naglalathala ng llms.txt bilang dagdag na buod para sa mga AI tool, pero hindi ito kapalit ng mga page na kayang i-crawl.

Gaano katagal pagkatapos ayusin ang robots.txt bago kami makakita ng pagbabago?

Sabi ng OpenAI, puwedeng umabot nang mga 24 oras bago umangkop ang mga system nito sa update ng robots.txt para sa search. Nakasalalay pa rin sa content mo kung masisipi ka, kaya sukatin sa mga susunod na linggo sa halip na kinabukasan.

Mga sanggunian

  1. Overview of OpenAI Crawlers — OpenAI
  2. Perplexity Crawlers — Perplexity
  3. Google's common crawlers (Google-Extended) — Google Search Central
  4. Introduction to robots.txt — Google Search Central
  5. AI features and your website — Google Search Central

Bakit namin ito isinulatIsinulat namin ito dahil ang unang tinitingnan namin sa isang bagong factory website ay kung kayang makapasok ng mga AI crawler, at mas madalas na "hindi" ang sagot kaysa sa inaasahan ng sinuman.

ToucHigh

Tingnan kung saan ka hindi nakikita sa AI search ng US

Mag-book ng libreng 30-minutong tawag at ia-audit namin nang live ang AI visibility ng tindahan mo.

Mag-book ng 30-minutong strategy session →Mag-log in sa ToucHigh