Docs

Vercel 是否封鎖了 GPTBot、ClaudeBot 等 AI 爬蟲？

預設不會。Vercel 的 AI Bots 受管規則集預設關閉；Bot Protection 與 Attack Mode 會讓 GPTBot、ClaudeBot 等已驗證的機器人通過。只有 AI Bots 規則集設為 Deny、自訂防火牆規則符合其名稱，或 robots.txt 禁止時，才會擋下 AI 爬蟲。

重點事實

我要在哪裡查看 Vercel 是否在我的專案中封鎖 AI 機器人？

在 Vercel 儀表板打開專案，然後選擇 Firewall 與 Rules。以下三處決定這件事：

設定預設何時會封鎖 AI 爬蟲
「AI Bots Ruleset」（Bot Management）「Allow」（未啟用）設為「Deny」
「Bot Protection」（Bot Management）「Off」很少：已驗證的機器人會被排除，但未驗證的會收到挑戰
自訂規則無規則符合 GPTBot 等使用者代理，或使用「Block AI Bots」範本並設為 Deny 或 Challenge
Attack Mode停用對已驗證的機器人不適用，它們不經挑戰即可通過

為什麼我的 Vercel 網站會在不知情的情況下封鎖 ChatGPT？

通常是因為有人為了節省用量而開啟了一鍵封鎖。在 Vercel 社群論壇 2026 年 2 月的一則討論中，一個免費方案帳戶在 OpenAI 爬蟲耗盡其資源後被暫停，而一位 Vercel 員工建議在防火牆中封鎖 AI 機器人。

這解決了帳單問題，卻也讓該網站從那些爬蟲能讀取的範圍中消失。任何成本或流量事件發生後，都應檢查防火牆。

如何用命令列測試？

讀取正式網域的 robots.txt，並用每個爬蟲的名稱請求首頁。回傳 200 是好跡象；403 或挑戰頁面則表示有規則符合該名稱。

# 1. 正式網域上的 robots.txt
curl -s https://www.example.com/robots.txt
# 2. 每個爬蟲名稱的狀態碼（非 200 表示有規則符合該名稱）
for ua in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot Claude-SearchBot PerplexityBot; do
  echo "$ua $(curl -s -o /dev/null -w '%{http_code}' -A "$ua" https://www.example.com/)"
done

我能只封鎖 AI 訓練，卻仍留在 ChatGPT 搜尋中嗎？

可以，方法是依名稱逐一封鎖爬蟲，而不是一次全擋。OpenAI 將用於訓練的 GPTBot 與用於 ChatGPT 搜尋的 OAI-SearchBot 分開；Anthropic 則將 ClaudeBot 與 Claude-SearchBot 分開。

Vercel 的 AI Bots 規則集把它們視為同一組。若要只擋訓練，請在 robots.txt 中禁止 GPTBot 與 ClaudeBot，或為這些使用者代理寫自訂防火牆規則，並保留搜尋爬蟲的存取。

Vercel 預覽部署對 AI 搜尋是問題嗎？

不會，它們本來就不應被收錄。Vercel 會自動在每個預覽部署加上 X-Robots-Tag: noindex 標頭。

例外：當自訂網域指向非正式分支時，Vercel 會省略該標頭，因此除非您自行加上，測試用的網域可能會被建立索引。

逐步操作

  1. 檢查 AI Bots 規則集. 在 Firewall、Rules、Bot Management 中，確認「AI Bots Ruleset」顯示「Allow」或「Log」，而不是「Deny」。
  2. 檢查自訂規則. 尋找符合 GPTBot、ClaudeBot、PerplexityBot 或「Block AI Bots」範本的規則，並記下其動作。
  3. 檢查 robots.txt. 請您的 AI 程式代理顯示框架產生的 robots.txt，並確認 OAI-SearchBot 與 Claude-SearchBot 已被允許。
  4. 逐一測試爬蟲名稱. 對正式網域執行上面的 curl 迴圈，留意任何非 200 的結果。
  5. 如非封鎖不可，依名稱封鎖. 若原因是成本，只封鎖訓練用的爬蟲；或先使用「Log」，再決定是否改用「Deny」。

常見錯誤

  • 為了節省用量而開啟一鍵 AI 封鎖，卻忘了它也會阻止 ChatGPT 搜尋與 Perplexity 的爬蟲。
  • 只檢查 robots.txt，卻忽略同一個爬蟲正被防火牆規則回應 403。
  • 測試預覽網址（帶有 noindex），而不是正式網域。
  • 因為 Vercel 在其上省略 noindex，讓測試用的自訂網域維持可被建立索引的狀態。

easyIndex 如何解決

easyIndex 從不碰您的 Vercel 專案：由您的 AI 程式代理透過 MCP 逐步執行每項變更，easyIndex 則在線上檢查每一頁，而不是相信代理的回報。儀表板會顯示 AI 爬蟲何時讀取哪些頁面，因此若防火牆變更讓它們停止讀取，讀取次數會跟著歸零。每個網站每月 US$30，含 7 天免費試用。

常見問題

Vercel 免費的 Hobby 方案會封鎖 AI 爬蟲嗎？

預設不會。AI Bots 規則集在所有方案中都可用，包括 Hobby，直到有人將它設為 Log 或 Deny 前都維持未啟用。

Vercel 的 Bot Protection 會封鎖 GPTBot 嗎？

不會。Vercel 說 Bot Protection 會排除已驗證的機器人，而其目錄將 GPTBot、OAI-SearchBot 與 ClaudeBot 列為已驗證。

開啟 Attack Mode 會影響我在 AI 回答中的能見度嗎？

Vercel 說已驗證的機器人不經挑戰即可通過 Attack Mode，而 OpenAI、Anthropic 與 Perplexity 的 AI 爬蟲都在該目錄中。

解除封鎖後，要多久 ChatGPT 才會再讀取我的網站？

OpenAI 說 robots.txt 的變更約需 24 小時才會到達其系統；防火牆的變更則在您發布後生效。

延伸閱讀

最後驗證日期 .

Vercel 會封鎖 GPTBot、ClaudeBot 等 AI 爬蟲嗎？