Docs

AI クローラーにはどんな種類があり、robots.txt でどう許可しますか？

主な AI クローラーは、OpenAI の OAI-SearchBot、ChatGPT-User、GPTBot、Anthropic の Claude-SearchBot、Claude-User、ClaudeBot、Perplexity の PerplexityBot と Perplexity-User、Google の Google-Extended トークン、Common Crawl の CCBot です。引用されるためには、検索用とユーザー用のクローラーを robots.txt で、それぞれ User-agent 行と Allow: / を使って許可します。

ファクト

  • OpenAI は、ChatGPT の検索機能にウェブサイトを表示するために OAI-SearchBot を使い、基盤モデルのために GPTBot を使っています。検索用の robots.txt の変更は、適用されるまで約24時間かかります。 (OpenAI: Overview of OpenAI crawlers)
  • Anthropic は、Claude-SearchBot または Claude-User をブロックすると、Claude の回答でのサイトの可視性が下がる可能性があると説明しています。一方、ClaudeBot は学習に使われる可能性のあるコンテンツを収集します。 (Anthropic: Anthropic はウェブからデータを収集しますか？)
  • Perplexity は、PerplexityBot は検索結果にウェブサイトを表示してリンクするためのもので、AI の基盤モデルのためにコンテンツをクロールするものではないと説明しています。robots.txt の変更には最大24時間かかることがあります。 (Perplexity: Perplexity のクローラー)
  • Google-Extended は Gemini の学習と根拠づけを制御するもので、Google 検索でのインデックス登録や順位には影響しません。 (Google Search Central: Google の共通クローラー（Google-Extended）)
  • Common Crawl のクローラーは CCBot と名乗ります。サイトの運営者は、User-agent: CCBot と Disallow: / を使ってブロックできます。 (Common Crawl: CCBot)

どんな AI クローラーがあり、それぞれ何をしますか？

各 AI 企業は、検索、ライブのユーザーリクエスト、学習のためにそれぞれ別のクローラーを運用しています。robots.txt では、それぞれを別々に扱えます。

クローラー企業用途
OAI-SearchBotOpenAIChatGPT の検索結果
ChatGPT-UserOpenAIChatGPT と カスタム GPT でのユーザー操作
GPTBotOpenAI基盤モデルの学習
Claude-SearchBotAnthropicClaude の検索結果のためのインデックス登録
Claude-UserAnthropicユーザーの質問に応じたページの取得
ClaudeBotAnthropic学習に使われる可能性のあるコンテンツ
PerplexityBotPerplexityPerplexity の検索結果
Perplexity-UserPerplexityPerplexity 内でのユーザー操作
Google-ExtendedGoogleGemini の学習と根拠づけ（robots.txt のトークン）
CCBotCommon Crawlオープンなウェブのクロールアーカイブ

検索と回答のクローラーを許可する robots.txt はどう書きますか？

この robots.txt は、自社サイトを AI の回答に載せるクローラーを許可します。学習用のクローラーを加えるか省くかは、ご自身で決めてください。サイトマップのアドレスはご自身のものに置き換えてください。

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Sitemap: https://www.example.com/sitemap.xml

AI の回答には出ながら、学習はブロックできますか？

はい。OpenAI、Anthropic、Google は学習用のクローラーを個別に示している（GPTBot、ClaudeBot、Google-Extended）ため、それらを禁止し、検索用とユーザー用のクローラーは許可したままにできます。

AI クローラーが実際にサイトを読んでいるかどうかは、どうすればわかりますか？

サーバーのログや、クローラーのユーザーエージェントのレポートを確認してください。easyIndex の run_audit は、robots.txt が AI クローラーを許可しているかを確認します。easyIndex のクローラー転送機能は、どの AI クローラーがどのページをいつ読んだかを示します。

ステップごとの手順

  1. robots.txt を開く. yoursite.com/robots.txt を開き、User-agent: * または AI クローラー名の下にある Disallow のルールを確認します。
  2. クローラーごとに選ぶ. 上の表を使い、許可する検索用、ユーザー用、学習用のクローラーを決めます。
  3. ルールを追加する. 許可したいクローラーごとに User-agent 行と Allow: / を追加し、Sitemap 行も加えます。
  4. ファイアウォールを確認する. CDN や bot 対策が、同じクローラーをチャレンジしたりブロックしたりしていないことを確認します。
  5. 待って確認する. OpenAI と Perplexity が変更を取り込むまで約24時間待ち、その後ログでクローラーによる読み取りを確認します。

よくある間違い

  • ステージング環境から残された User-agent: * と Disallow: / が、すべてのクローラーをブロックしている。
  • GPTBot や ClaudeBot をブロックすれば検索もカバーされると考える。検索用のクローラーは別です。
  • robots.txt では許可しているのに、CDN の bot 対策が同じクローラーをブロックしたままになっている。
  • ユーザーエージェントの綴りを間違え、ルールがどれにも一致しない。

easyIndex での解決方法

easyIndex の run_audit が robots.txt で AI クローラーが許可されているかを確認し、お使いのコーディングエージェントが MCP 経由で修正します。その後 easyIndex は、ページごとに AI クローラーによる読み取りと AI アシスタントからの訪問を計測します。料金は1サイトあたり月額US$30で、7日間の無料トライアルがあります。

よくある質問

AI クローラーを許可すれば、必ず引用されますか？

いいえ。許可されるのはページが読めるようになることだけです。AI アシスタントが引用するかどうかは、ページと質問によって決まります。

Gemini のための robots.txt のルールはありますか？

Google-Extended が、Gemini の学習と根拠づけを制御するトークンです。Google 検索は引き続き Googlebot が扱います。

llms.txt も必要ですか？

いいえ。アクセスを決めるのは robots.txt です。llms.txt は、クローラーを主要なページに案内するための任意のファイルです。

変更が反映されるまでどのくらいかかりますか？

robots.txt を更新してから、OpenAI は約24時間、Perplexity は最大24時間かかると説明しています。

続きを読む

最終確認日 .

AI クローラーの一覧と robots.txt での許可方法