Cloudflare は、ChatGPT など AI クローラーを自社サイトからブロックしていますか？

その可能性があります。Cloudflare は2025年7月に、AI クローラーをブロックする方向へデフォルトを変更し、2026年9月15日以降は新しいドメインで、広告のあるページの Training と Agent のボットをブロックします。Security Settings の Configure AI bot policies を確認してください。ChatGPT、Claude、Perplexity が読んで引用できるよう Search と Agent のカテゴリを許可し、Training（学習用）は好みに応じてブロックします。

ファクト

2025年7月1日、Cloudflare は、クリエイターにコンテンツの対価を支払わない限り AI クローラーをブロックするよう、デフォルトを変更すると発表しました。 (Cloudflare：Content Independence Day（2025年7月）)
Cloudflare のドキュメントによると、2026年9月15日以降、新しいドメインでは広告を表示するページで Training または Agent に分類されるボットをブロックし、Search は許可されたままです。 (Cloudflare ドキュメント：Block AI bots)
Cloudflare は、Search と Training を兼ねるクローラーは、AI 学習をブロックするためのどの設定でもブロックされると述べています。 (Cloudflare ドキュメント：Block AI bots)
OpenAI は、OAI-SearchBot からオプトアウトしたサイトは ChatGPT の検索回答に表示されず、GPTBot をブロックしても学習からオプトアウトするだけだと説明しています。 (OpenAI: Overview of OpenAI crawlers)
Anthropic は3つのボットを運用しています。学習用の ClaudeBot、ユーザーのリクエスト用の Claude-User、検索インデックス用の Claude-SearchBot です。後の2つをブロックすると、Claude での可視性が下がることがあります。 (Anthropic：Anthropic はウェブからデータをクロールしますか？)

Cloudflare が何をブロックしているか、どこで確認できますか？

Cloudflare のダッシュボードで Security Settings を開き、Configure AI bot policies を開いてください。Search、Agent、Training の各カテゴリには、Block、Block on pages with ads、Allow の3つの選択肢があります。古い Block AI bots のスイッチは廃止が進んでいます。

引用されるために、どの AI クローラーを許可すべきですか？

ユーザーに答え、検索インデックスを作るクローラーを許可してください。学習用のクローラーは別に判断する事項です。

クローラー	用途	Cloudflare のカテゴリ	引用されるために
OAI-SearchBot	ChatGPT の検索	Search	許可
ChatGPT-User	ユーザーが尋ねたページを取得	Agent	許可
Claude-SearchBot	Claude の検索インデックス	Search	許可
Claude-User	Claude のユーザーが尋ねたページを取得	Agent	許可
GPTBot、ClaudeBot	モデルの学習	Training	御社が判断

Cloudflare を使っていても、robots.txt は重要ですか？

はい。Cloudflare のルールはネットワークを通過できるクローラーを決め、robots.txt は各クローラーが何を読めるかを伝えます。両方が一致している必要があり、一致しない場合はより制限の強いほうが適用されます。

# 検索とユーザーリクエストのクローラー：許可
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# 学習用クローラー：御社の判断
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

学習をブロックすると、検索もブロックされるのはなぜですか？

一部のクローラーは両方の役割を担っているからです。Cloudflare は、検索と学習を兼ねる混在型のクローラーを両方のポリシーで評価するため、すべてのページで学習をブロックすると、Search が許可されていても締め出されることがあります。Training を変更したら、Search も確認してください。

AI クローラーが再びサイトを読んでいるかどうかは、どう確認しますか？

設定だけでなく、変更後の訪問を見てください。easyIndex は AI クローラーの読み取りをページごとに記録するため、OAI-SearchBot や Claude-SearchBot がいつ戻ってきたかが分かり、読み取りが止まった場合にも気付けます。

ステップごとの手順

AI ボットのポリシーを開く. Cloudflare で Security Settings、Configure AI bot policies の順に進み、各カテゴリの選択肢を確認してください。
Search と Agent を許可する. Search と Agent を Allow にして、ChatGPT、Claude、Perplexity の検索インデックスとユーザーリクエストが通過できるようにしてください。
Training を判断する. Training をブロックするか許可するかを決め、混在型のクローラーに対して Search が許可されたままか再確認してください。
robots.txt をそろえる. コーディングエージェントに、robots.txt で OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot を許可させてください。
クローラーの読み取りを確認する. 数日以内に、それらのクローラーの読み取りが現れるか確認してください。OpenAI によると、robots.txt の変更は約24時間で反映されます。

よくある間違い

Cloudflare がネットワーク上でクローラーをまだブロックしているのに、robots.txt を直すこと。
混在型のクローラーに何が起きるかを確認せず、すべてのページで Training をブロックすること。
GPTBot を許可して OAI-SearchBot をブロックすること。これでは ChatGPT の検索に表示されません。
クローラーの読み取りが実際に戻ったかを確認せず、設定を信じること。

easyIndex での解決方法

easyIndex は、どの AI クローラーがどのページを読んでいるかを記録し、読まなくなった時点を示すため、Cloudflare でのブロックが見えるようになります。コーディングエージェントが MCP 経由で robots.txt を直し、easyIndex がライブで確認します。1サイトあたり月額 US$30、7日間の無料トライアル付きです。

よくある質問

Cloudflare は Googlebot もブロックしますか？

Googlebot は検索などの用途でクロールし、Cloudflare は混在型のクローラーを Training のポリシーでも評価します。Google からの流入が減ったら、その設定を確認してください。

古いドメインと新しいドメインで、デフォルトは同じですか？

いいえ。2026年9月15日のデフォルトは新しいドメインに適用されます。古いドメインは、すでに設定された選択肢をそのまま保ちます。御社のドメインを確認してください。

引用されるために Cloudflare の pay per crawl が必要ですか？

いいえ。pay per crawl は、クローラーに料金を請求したい発行者向けです。引用されるには、検索とエージェントのクローラーを通すだけで十分です。

ブロックを解除してから、ChatGPT がサイトを見るまでどのくらいかかりますか？

OpenAI によると、robots.txt の変更は約24時間で反映されます。その後に引用されるかどうかは、御社のページ次第です。

続きを読む

最終確認日 2026年10月9日.