Docs

Cloudflare 是否擋住了我網站上的 ChatGPT 與其他 AI 爬蟲？

有可能。Cloudflare 在 2025 年 7 月把預設改為封鎖 AI 爬蟲，新網域自 2026 年 9 月 15 日起，也會在有廣告的頁面上封鎖訓練與代理用途的機器人。請到 Configure AI bot policies（設定 AI 機器人政策），允許 Search（搜尋）與 Agent（代理）類別，讓 ChatGPT、Claude 與 Perplexity 能讀取並引用您。

重點事實

在哪裡查看 Cloudflare 封鎖了什麼？

在 Cloudflare 儀表板中打開 Security Settings（安全性設定），再進入 Configure AI bot policies（設定 AI 機器人政策）。每個類別（Search、Agent 與 Training）都有三個選項：Block（封鎖）、Block on pages with ads（在有廣告的頁面封鎖）與 Allow（允許）。舊的「封鎖 AI 機器人」開關正在淘汰中。

我應該允許哪些 AI 爬蟲，才能被引用？

允許那些負責回答使用者與建立搜尋索引的爬蟲；訓練用爬蟲則是另外的決定。

爬蟲用途Cloudflare 類別要被引用
OAI-SearchBotChatGPT 搜尋Search允許
ChatGPT-User抓取使用者詢問的頁面Agent允許
Claude-SearchBotClaude 搜尋建立索引Search允許
Claude-User抓取 Claude 使用者詢問的頁面Agent允許
GPTBot、ClaudeBot模型訓練Training由您決定

如果我使用 Cloudflare，robots.txt 還重要嗎？

重要：Cloudflare 的規則決定誰能通過網路，robots.txt 則告訴每個爬蟲它可以讀取什麼。兩者必須一致，否則以較嚴格的那一個為準。

# 搜尋與使用者請求的爬蟲：允許
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# 訓練用爬蟲：由您決定
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

為什麼封鎖訓練也可能連搜尋一起封鎖？

因為有些爬蟲身兼兩職。Cloudflare 會以兩種政策評估同時用於搜尋與訓練的爬蟲，因此即使允許搜尋，在所有頁面封鎖訓練仍可能把它擋在門外。變更訓練設定後，請檢查 Search 類別。

如何確認 AI 爬蟲又能讀取我的網站？

要看變更後的造訪紀錄，而不只是看設定。easyIndex 會依頁面記錄每一次 AI 爬蟲的讀取，因此您能看到 OAI-SearchBot 或 Claude-SearchBot 何時回來，也能察覺讀取何時停止。

逐步操作

  1. 打開 AI 機器人政策. 在 Cloudflare 進入 Security Settings（安全性設定）、Configure AI bot policies（設定 AI 機器人政策），記下每個類別的選項組合。
  2. 允許 Search 與 Agent. 將 Search 與 Agent 設為允許，讓 ChatGPT、Claude 與 Perplexity 的搜尋索引與使用者請求能夠通過。
  3. 決定 Training. 依您的偏好封鎖或允許 Training，然後再次確認混合型爬蟲仍能使用 Search。
  4. 對齊 robots.txt. 請您的 AI 程式代理在 robots.txt 中允許 OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User 與 PerplexityBot。
  5. 觀察爬蟲讀取. 確認未來幾天這些爬蟲的讀取會出現；OpenAI 表示 robots.txt 的變更約需 24 小時。

常見錯誤

  • Cloudflare 仍在網路層封鎖爬蟲，您卻只修改了 robots.txt。
  • 在所有頁面封鎖訓練，卻沒有檢查混合型爬蟲會受到什麼影響。
  • 允許 GPTBot 卻封鎖 OAI-SearchBot，結果讓您不在 ChatGPT 搜尋中。
  • 相信設定已生效，卻沒有檢查爬蟲的讀取是否真的恢復。

easyIndex 如何解決

easyIndex 會記錄哪些 AI 爬蟲讀取每個頁面，並顯示它們何時停止，因此 Cloudflare 上的封鎖看得見；您的 AI 程式代理透過 MCP 修正 robots.txt，easyIndex 再於線上檢查。每個網站每月 US$30，並提供 7 天免費試用。

常見問題

Cloudflare 也會封鎖 Googlebot 嗎？

Googlebot 為搜尋及其他用途進行檢索，而 Cloudflare 也會以訓練政策評估混合型爬蟲，因此若 Google 流量下降，請檢查這項設定。

舊網域與新網域的預設相同嗎？

不相同。Cloudflare 於 2026 年 9 月 15 日訂定的預設適用於新網域；舊網域會保留已設定的選項，請自行檢查。

我一定要使用 Cloudflare 的按爬取付費功能才能被引用嗎？

不需要。按爬取付費是給想向爬蟲收費的出版商；要被引用，您只需讓搜尋與代理爬蟲進入即可。

解除封鎖後，ChatGPT 要多久才會看到我的網站？

OpenAI 表示其系統約在 24 小時內套用 robots.txt 的變更；之後能否被引用，取決於您的頁面。

延伸閱讀

最後驗證日期 .

Cloudflare AI 爬蟲：是否擋下了 ChatGPT？