您的網站封鎖了 ChatGPT 嗎?B2B 網站的 AI 爬蟲 robots.txt 設定
先檢查存取權,再談內容。許多出口企業網站透過 robots.txt、CDN 或安全外掛,意外封鎖了 AI 搜尋爬蟲。以下說明如何區分搜尋機器人和訓練機器人,以及該允許哪些。

我們的 IT 團隊去年在網站上封鎖了「AI 機器人」。這會是 ChatGPT 從來不顯示我們工廠的原因嗎?我們該允許哪些?
一句話回答很有可能。AI 公司為搜尋和模型訓練分別運行不同的機器人。OpenAI 表示,選擇退出 OAI-SearchBot 的網站不會出現在 ChatGPT 的搜尋答案中,而 GPTBot 只管訓練。允許搜尋爬蟲(OAI-SearchBot、PerplexityBot、Googlebot、Bingbot),另外決定是否允許 GPTBot 和 Google-Extended 等訓練機器人,並確認您的 CDN 或防火牆沒有無視 robots.txt 把它們擋掉。
要點速覽
- OpenAI 的 OAI-SearchBot 讓網站出現在 ChatGPT 搜尋中;GPTBot 則用於訓練。兩項設定彼此獨立,所以您可以允許搜尋、拒絕訓練。
- OpenAI 表示,robots.txt 的變更大約需要 24 小時才會影響 ChatGPT 搜尋。
- PerplexityBot 在 Perplexity 的結果中呈現並連結網站;根據 Perplexity 的說法,它不用於訓練基礎模型。
- Google-Extended 控制您的內容是否用於 Gemini 的訓練和依據(grounding);Google 表示它不影響在 Google 搜尋中的收錄或排名。
- 即使 robots.txt 允許,防火牆和 CDN 仍可能擋掉爬蟲;Perplexity 正是因此公開了 IP 範圍和 WAF 設定說明。
有相當多出口企業網站在 AI 搜尋中隱形,原因很無聊:爬蟲進不來。過去兩年裡,某人加了一條「封鎖 AI 機器人」的規則、開啟了 CDN 的機器人防護,或安裝了一個安全外掛。網站對人來說仍然正常,所以沒人察覺。然後團隊花了好幾個月改寫內容,而 AI 搜尋引擎根本從未被允許讀取這些內容。
本指南是為工廠和 B2B 網站準備的 30 分鐘技術檢查。單靠它不會讓您被看見,但如果存取權有問題,您做的其他任何事都不會算數。
哪些 AI 爬蟲用於搜尋,哪些用於訓練?
關鍵概念:AI 公司把「尋找要在答案中顯示的頁面」的機器人,和「為模型訓練收集內容」的機器人分開。您可以對兩者做出不同的選擇。
| 公司 | 使用者代理程式(User agent) | 用途(依該公司的文件) |
|---|---|---|
| OpenAI | OAI-SearchBot | 讓網站出現在 ChatGPT 的搜尋功能中。選擇退出的網站不會出現在 ChatGPT 的搜尋答案中,但仍可能以導覽連結的形式出現。 |
| OpenAI | GPTBot | 抓取可能用於訓練 OpenAI 基礎模型的內容。禁止它,表示內容不應被用於訓練。 |
| OpenAI | ChatGPT-User | 因應特定使用者操作而造訪頁面。OpenAI 表示 robots.txt 規則可能不適用,而且它不用於決定搜尋中顯示什麼。 |
| Perplexity | PerplexityBot | 在 Perplexity 的搜尋結果中呈現並連結網站;不用於為 AI 基礎模型抓取內容。 |
| Perplexity | Perplexity-User | 在使用者提問時擷取頁面;由於是使用者要求的擷取,通常會忽略 robots.txt。 |
| Google-Extended | 一個 robots.txt 標記,控制 Google 抓取的內容是否可用於 Gemini 的訓練和依據(grounding)。它不影響 Google 搜尋的收錄或排名。 |
Google 搜尋本身的 AI 功能運作方式不同。Google 的指引表示 AI 已內建於搜尋中,所以針對 Googlebot 的 robots.txt 規則,就是控制網站如何為搜尋(包括 AI Overviews 和 AI Mode)被抓取的方式。為了「退出 AI」而封鎖 Googlebot,也會讓您從一般搜尋結果中消失。
工廠網站的 robots.txt 該怎麼寫?
對大多數出口製造商來說,目標是被找到,所以要允許搜尋爬蟲。是否允許訓練爬蟲是商業決策;拒絕它們並不會讓您從 AI 搜尋中消失。一個簡單的起點如下:
| robots.txt 指令 | 效果 |
|---|---|
User-agent: OAI-SearchBot / Allow: / | 具備出現在 ChatGPT 搜尋答案中的資格 |
User-agent: PerplexityBot / Allow: / | 具備出現在 Perplexity 結果中的資格 |
User-agent: Googlebot / Allow: / | Google 搜尋,包括 AI Overviews 和 AI Mode |
User-agent: Bingbot / Allow: / | Bing 搜尋 |
User-agent: GPTBot / Allow 或 Disallow | 由您決定是否允許 OpenAI 模型訓練 |
User-agent: Google-Extended / Allow 或 Disallow | 由您決定是否允許 Gemini 訓練和依據(grounding) |
Sitemap: https://www.example.com/sitemap.xml | 幫助爬蟲找到每一個頁面 |
經銷商入口或價格表等私密區域,要用登入保護來阻擋爬蟲,而不只是靠 robots.txt。Google 的 robots.txt 文件明確指出,robots.txt 不是讓頁面不出現在 Google 中的機制;要做到這點,請使用 noindex 或密碼保護。
為什麼即使 robots.txt 允許,防火牆仍可能擋掉 AI 爬蟲?
robots.txt 是一項請求;您的 CDN、防火牆或安全外掛則是一道閘門。許多機器人防護功能會在陌生爬蟲讀到 robots.txt 之前,就先對其發出驗證挑戰或直接封鎖。Google 把「確保 robots.txt 以及任何 CDN 或主機基礎設施都允許抓取」列為 AI 功能的基本要件之一。Perplexity 更進一步,公開了 IP 位址清單和逐步的網頁應用程式防火牆規則,方便網站擁有者允許其機器人。OpenAI 也公開了其爬蟲的 IP 範圍。
問負責您主機的人三個問題:機器人防護有開啟嗎?有允許清單嗎?上面提到的搜尋爬蟲在清單上嗎?接著檢查伺服器日誌中是否有表格裡的使用者代理程式。如果它們出現卻收到錯誤,或根本從未出現,您就找到問題了。
如何在 30 分鐘內檢查存取權?
- 開啟 yoursite.com/robots.txt。查看
User-agent: *或任何 AI 使用者代理程式下是否有Disallow: /。 - 檢查 CDN 或防火牆是否開啟了機器人防護、國家封鎖或「AI 爬取器」開關。
- 搜尋伺服器日誌中的 OAI-SearchBot、PerplexityBot 和 Googlebot,以及它們收到的狀態碼。
- 在 Google Search Console 中確認主要產品和能力頁面已被索引。
- 一天後在 ChatGPT 中重新測試。OpenAI 表示,robots.txt 的變更大約需要 24 小時才會反映在搜尋中。
- 把政策寫下來,以免下一次安全更新又把它推翻。
允許爬蟲就代表 AI 會推薦您嗎?
不會。存取權讓您具備資格,但不代表您會被選中。爬蟲能讀取您的網站之後,接下來的問題是:您的頁面是否用具體事實回答了買家的問題?您的公司資訊在整個網路上是否一致?但存取權是第一步。這是 GEO 中最便宜、也最常被忽略的修正。
ToucHigh 能幫您做什麼
ToucHigh 的 GEO Autopilot 在每次合作開始時都會做這類檢查:
- 檢查您的網站在 ChatGPT、Perplexity、Google AI 和 Gemini 中隱形的地方;
- 替您撰寫並上線修正內容,包括頁面、問答與實體資料;
- 之後持續追蹤 AI 引用份額,讓您看到打開閘門的效果。
預約 30 分鐘策略通話,我們會即時檢視您網站的 AI 能見度。
工廠與B2B供應商:看看ToucHigh如何提升AI搜尋中的供應商能見度。 需要把曝光變成商機?了解策略先行的外拓獲客服務ToucHigh PRO。
常見問題
如果我們封鎖 GPTBot,ChatGPT 就不會再顯示我們的網站嗎?
根據 OpenAI 的說法,不會。GPTBot 管的是內容是否可用於模型訓練;OAI-SearchBot 管的是能否出現在 ChatGPT 搜尋中。兩項設定彼此獨立,所以您可以禁止 GPTBot,同時仍允許 OAI-SearchBot。
封鎖 Google-Extended 會讓我們從 AI Overviews 中消失嗎?
不會。Google 表示 Google-Extended 不影響在 Google 搜尋中的收錄,而 AI Overviews 和 AI Mode 屬於搜尋的一部分,由 Googlebot 控制。若要限制出現在摘要和 AI 功能中的內容,Google 指向 nosnippet、data-nosnippet、max-snippet 或 noindex。
要被 AI 找到,需要 llms.txt 檔案嗎?
Google 表示,要出現在其 AI 功能中,不需要新的機器可讀檔案或 AI 文字檔。有些網站會發布 llms.txt 作為給 AI 工具的額外摘要,但它不能取代可被抓取的頁面。
修正 robots.txt 後,多久能看到變化?
OpenAI 表示,其系統大約需要 24 小時來因應搜尋相關的 robots.txt 更新。能否被引用仍取決於您的內容,所以請在接下來幾週衡量,而不是隔天。
參考來源
- Overview of OpenAI Crawlers — OpenAI
- Perplexity Crawlers — Perplexity
- Google's common crawlers (Google-Extended) — Google Search Central
- Introduction to robots.txt — Google Search Central
- AI features and your website — Google Search Central
我們為什麼寫這篇我們寫這篇文章,是因為我們檢查新的工廠網站時,第一件事就是看 AI 爬蟲能不能進來,而答案是「不能」的次數比任何人預期的都多。

