Docs

有哪些 AI 檢索器？我要如何在 robots.txt 中允許它們？

主要的 AI 檢索器包括：OpenAI 的 OAI-SearchBot、ChatGPT-User 與 GPTBot；Anthropic 的 Claude-SearchBot、Claude-User 與 ClaudeBot；Perplexity 的 PerplexityBot 與 Perplexity-User；Google 的 Google-Extended 權杖；以及 Common Crawl 的 CCBot。若要被引用，請在 robots.txt 中為每個搜尋與使用者檢索器加上 User-agent 行，並設定 Allow: /。

重點事實

有哪些 AI 檢索器，各自的功能是什麼？

每家 AI 公司都為搜尋、即時的使用者請求與訓練各自運行獨立的檢索器，robots.txt 可以對每一個分別處理。

檢索器公司用途
OAI-SearchBotOpenAIChatGPT 中的搜尋結果
ChatGPT-UserOpenAIChatGPT 與自訂 GPT 中的使用者動作
GPTBotOpenAI基礎模型訓練
Claude-SearchBotAnthropic為 Claude 的搜尋結果建立索引
Claude-UserAnthropic為使用者的問題擷取頁面
ClaudeBotAnthropic可能用於訓練的內容
PerplexityBotPerplexityPerplexity 中的搜尋結果
Perplexity-UserPerplexityPerplexity 內的使用者動作
Google-ExtendedGoogleGemini 的訓練與依據（robots.txt 權杖）
CCBotCommon Crawl開放網路的抓取檔案

哪種 robots.txt 會允許搜尋與回答用的檢索器？

這份 robots.txt 允許會把您的網站放進 AI 回答中的檢索器；是否加入或省略訓練用檢索器由您決定，並請把網站地圖位址換成您自己的。

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Sitemap: https://www.example.com/sitemap.xml

我可以封鎖訓練用途，同時仍出現在 AI 回答中嗎？

可以。由於 OpenAI、Anthropic 與 Google 都將訓練用途分開列出（GPTBot、ClaudeBot、Google-Extended），您可以禁止這些檢索器，同時保留搜尋與使用者檢索器的允許。

我要如何知道 AI 檢索器真的在讀取我的網站？

請查看伺服器紀錄或檢索器報表中它們的 user agent。easyIndex 的 run_audit 會檢查 robots.txt 是否允許 AI 檢索器，而其檢索器轉送功能會顯示每個 AI 檢索器讀取了哪些頁面，以及讀取的時間。

逐步操作

  1. 開啟您的 robots.txt. 載入 yoursite.com/robots.txt，檢查 User-agent: * 或任何 AI 檢索器之下是否有 Disallow 規則。
  2. 逐一檢索器決定. 依照上方的表格，決定要允許哪些搜尋、使用者與訓練用檢索器。
  3. 加入規則. 為每個要允許的檢索器加上 User-agent 行與 Allow: /，並加上您的 Sitemap 行。
  4. 檢查防火牆. 確認您的 CDN 或機器人防護沒有對同一批檢索器發出挑戰或加以封鎖。
  5. 等待並驗證. 讓 OpenAI 與 Perplexity 約 24 小時接受此變更，接著在紀錄中確認檢索器的讀取。

常見錯誤

  • 預備環境遺留的 User-agent: * 搭配 Disallow: /，封鎖了所有檢索器。
  • 封鎖 GPTBot 或 ClaudeBot，並以為這也涵蓋了搜尋；搜尋檢索器是分開的。
  • 在 robots.txt 中允許檢索器，但 CDN 的機器人防護仍然封鎖它們。
  • user agent 打錯字，使規則完全比對不到任何檢索器。

easyIndex 如何解決

easyIndex 的 run_audit 會檢查您的 robots.txt 是否允許 AI 檢索器，您的 AI 程式代理透過 MCP 修正它，接著 easyIndex 會依頁面衡量 AI 檢索器的讀取次數與來自 AI 助理的訪客。每個網站每月 US$30，並提供 7 天免費試用。

常見問題

允許 AI 檢索器就保證會被引用嗎？

不保證。它讓您的頁面可以被讀取；助理是否引用，取決於頁面內容與問題本身。

有沒有針對 Gemini 的 robots.txt 規則？

Google-Extended 是控制 Gemini 訓練與依據的權杖；Google 搜尋仍由 Googlebot 處理。

我也需要 llms.txt 嗎？

不需要。robots.txt 決定存取權限；llms.txt 是選用檔案，用來把檢索器指向重要頁面。

變更多久會生效？

OpenAI 表示約 24 小時，Perplexity 表示 robots.txt 更新後最多 24 小時。

延伸閱讀

最後驗證日期 .

AI 檢索器清單，以及如何在 robots.txt 中允許它們