Docs

VercelでGPTBotやClaudeBotなどのAIクローラーがサイトをブロックしていないか確認するには？

既定では、ブロックされていません。VercelのAI Bots Managed Rulesetは、誰かがオンにしない限り無効です。また、Bot ProtectionとAttack Modeは、GPTBotやClaudeBotなどの検証済みのボットを通します。VercelでAIクローラーがブロックされるのは、AI Bots Rulesetが「Deny」に設定されているとき、カスタムのファイアウォールルールがその名前に一致するとき、またはrobots.txtで禁止しているときだけです。

ファクト

Vercelがプロジェクトで AIボットをブロックしているか、どこで確認できますか？

Vercelダッシュボードでプロジェクトを開き、Firewall、Rules の順に進みます。次の3か所で決まります：

設定既定AIクローラーをブロックする条件
「AI Bots Ruleset」（Bot Management）「Allow」（無効）「Deny」に設定されているとき
「Bot Protection」（Bot Management）「Off」まれ。検証済みのボットは除外されるが、未検証のものはチャレンジを受ける
カスタムルールなしルールが GPTBot などのユーザーエージェントに一致するとき。または「Block AI Bots」テンプレートを Deny か Challenge で使っているとき
Attack Mode無効検証済みのボットは対象外。チャレンジなしで通る

知らないうちに、VercelのサイトがChatGPTをブロックしているのはなぜですか？

たいていは、誰かが使用量を抑えるためにワンクリックのブロックをオンにしたからです。2026年2月のVercelのコミュニティフォーラムのスレッドでは、無料プランのアカウントが、OpenAIのクローラーがリソースを使い切ったあとに一時停止されました。Vercelの社員は、ファイアウォールでAIボットをブロックすることを提案しました。

それで請求の問題は解決しますが、同時にそれらのクローラーが読めるサイトからも外れてしまいます。コストや流入に関する問題が起きたら、その後にファイアウォールを確認してください。

コマンドラインからどうテストしますか？

本番ドメインの robots.txt を読み、各クローラーの名前でトップページをリクエストします。200 なら問題ありません。403 かチャレンジページなら、その名前に一致するルールがあります。

# 1. 本番ドメインの robots.txt
curl -s https://www.example.com/robots.txt

# 2. AIクローラーの名前ごとのステータスコード（200以外なら、その名前に一致するルールがある）
for ua in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot Claude-SearchBot PerplexityBot; do
  echo "$ua $(curl -s -o /dev/null -w '%{http_code}' -A "$ua" https://www.example.com/)"
done

AIの学習はブロックしつつ、ChatGPT検索には残れますか？

はい。一度にすべてをブロックするのではなく、名前を指定してクローラーをブロックします。OpenAIは、学習に使われる GPTBot と、ChatGPT検索に使われる OAI-SearchBot を区別しています。Anthropicは、ClaudeBot と Claude-SearchBot を区別しています。

VercelのAI Botsルールセットは、それらを1つのグループとして扱います。学習だけをブロックするには、robots.txt で GPTBot と ClaudeBot を禁止するか、それらのユーザーエージェント向けのカスタムのファイアウォールルールを書きます。検索用のクローラーは許可したままにしてください。

Vercelのプレビューデプロイメントは、AI検索で問題になりますか？

いいえ。プレビューは検索に出ないようになっています。Vercelは、すべてのプレビューデプロイメントに X-Robots-Tag: noindex ヘッダーを自動で付けます。

例外があります。カスタムドメインが本番以外のブランチを指している場合、Vercelはそのヘッダーを付けません。そのため、自分で追加しない限り、ステージング用のドメインはインデックスされる可能性があります。

ステップごとの手順

  1. AI Bots Rulesetを確認する. Firewall、Rules、Bot Management の順に進み、「AI Bots Ruleset」が「Deny」ではなく「Allow」か「Log」になっていることを確認します。
  2. カスタムルールを確認する. GPTBot、ClaudeBot、PerplexityBot、または「Block AI Bots」テンプレートに一致するルールを探し、そのアクションを記録します。
  3. robots.txtを確認する. フレームワークが生成する robots.txt を、コーディングエージェントに表示させ、OAI-SearchBot と Claude-SearchBot が許可されていることを確認します。
  4. クローラーの名前ごとにテストする. 本番ドメインに対して curl のループを実行し、200以外のものを探します。
  5. どうしても必要なら名前で指定してブロックする. 理由がコストなら、学習用のクローラーだけをブロックするか、「Deny」を選ぶ前に「Log」から始めてください。

よくある間違い

  • 使用量を減らすためにワンクリックのAIブロックをオンにし、それがChatGPT検索とPerplexityのクローラーも止めることを忘れること。
  • robots.txtだけを確認し、同じクローラーに403を返すファイアウォールルールを見逃すこと。
  • noindexが付いたプレビューURLをテストし、本番ドメインをテストしないこと。
  • Vercelがnoindexを省くカスタムドメインのステージング環境を、インデックス可能なまま放置すること。

easyIndex での解決方法

easyIndexは、お使いのVercelプロジェクトに一切触れません。変更はすべてコーディングエージェントが行い、easyIndexはMCP経由で手順を示します。また、エージェントの報告を信じるのではなく、公開中のサイトで各ページを確認します。ダッシュボードには、AIクローラーがどのページをいつ読んだかが表示されるので、ファイアウォールの変更で読み取りが止まれば、その減少が見えます。1サイトあたり月額US$30で、7日間の無料トライアルがあります。

よくある質問

VercelのHobbyプランで、AIクローラーはブロックされますか？

既定ではブロックされません。AI Botsルールセットは、Hobbyを含むすべてのプランで使えますが、誰かが Log か Deny に設定するまで無効のままです。

VercelのBot ProtectionはGPTBotをブロックしますか？

いいえ。Vercelによると、Bot Protectionは検証済みのボットを除外し、そのディレクトリには GPTBot、OAI-SearchBot、ClaudeBot が検証済みとして載っています。

Attack Modeは、AI回答での可視性を損ないますか？

Vercelによると、検証済みのボットは Attack Mode でもチャレンジなしで通ります。OpenAI、Anthropic、Perplexity のAIクローラーは、そのディレクトリに含まれています。

ブロックを解除してから、ChatGPTがサイトを再び読むまでどのくらいかかりますか？

OpenAIによると、robots.txt の変更が同社のシステムに反映されるまで約24時間かかります。ファイアウォールの変更は、公開した時点で反映されます。

続きを読む

最終確認日 .

VercelはGPTBotやClaudeBotなどのAIクローラーをブロックしていますか？