Docs

AI エージェントに、ページの Markdown 版を返すべきですか？（llms.txt、Markdown for Agents）

任意の対策であり、良質な HTML の代わりにすることは決してありません。Google は、Google 検索に表示されるために Markdown や AI 用のテキストファイルは不要としており、その AI 機能も同じ HTML ページを読みます。Markdown 版は、Claude Code などの、それを求めるエージェントが少ないトークンでページを読むのに役立ちます。追加する場合は、HTML ページと全く同じ内容でなければなりません。

ファクト

Markdown 版を実際に読むのは誰ですか？

主に、ページを要求に応じて取得するコーディングエージェントや AI ツールです。引用対象を決める検索クローラーではありません。

読み手読むものMarkdown は役立つか
Google 検索、AI による概要、AI モードHTML のページいいえ：Google は Markdown を必要としないと説明しています
Claude Code などのコーディングエージェントサイトが Accept: text/markdown で提供する場合は Markdownはい：トークンが減り、テキストが整理されます
開発者ドキュメントの読者各ページの .md 版はい：OpenAI 自身の開発者ドキュメントは、URL に .md を付けると提供しています
llms.txt短いインデックスファイルGoogle 検索には役立ちません。Google はこれを無視します

bot に Markdown を返すのはクローキングになりますか？

内容が同じであればなりません。Google はクローキングを、ランキングを操作し利用者を欺く目的で、利用者と検索エンジンに異なるコンテンツを見せることと定義しています。

HTML ページと同じ本文、価格、主張を載せた Markdown 版は、形式が違うだけで、内容が違うわけではありません。AI 向けに新たな主張を書き足した Markdown 版が危険です。

自社のビジネスサイトでも行うべきか、ドキュメントサイトだけか？

ドキュメントサイトや開発者向けツールは、読者がコーディングエージェントであることが多いため、最も恩恵を受けます。人に売るビジネスサイトは、買い手の質問に答える、サーバーサイドでレンダリングされた完全な HTML ページのほうが得るものが多いです。

サイトがすでに有料プランの Cloudflare の背後にあるなら、機能をオンにするだけで追加費用はかかりません。すべてのページの第2のコピーを手作業で作って保守するのは、ほとんど割に合いません。

エージェントに何が返っているかは、どう確認しますか？

Markdown 用の Accept ヘッダーを付けてページを要求し、返ってくるヘッダーを読みます。レスポンスには content-type: text/markdown と vary: accept が必要です。これで、キャッシュが2つのバージョンを取り違えないようになります。

# Markdown を求めたエージェントが受け取るもの
curl -s -H "Accept: text/markdown" https://www.example.com/pricing | head -20

# 一緒に返ってくるべきヘッダー
curl -sI -H "Accept: text/markdown" https://www.example.com/pricing | grep -i -E "content-type|vary"
# 期待値: content-type: text/markdown ... および vary: accept

easyIndex は Markdown をどう扱いますか？

コーディングエージェントがページを提出すると、easyIndex はそのページを監査し、次に公開中のサイトの HTML ページを確認します。検索クローラーと AI クローラーが読むのはこの HTML だからです。ページは検索とインデックス登録のために一度だけ書かれるため、ずれていく第2のバージョンはありません。

ステップごとの手順

  1. まず HTML を整える. 公開するすべてのページについて、本文全体がサーバーサイドでレンダリングされた HTML に含まれ、サイトマップに載っているようにします。
  2. Markdown が必要な相手を決める. コーディングエージェントや開発者がページを読む場合にだけ Markdown 版を追加します。ドキュメントや API などがこれにあたります。
  3. 方法を一つ選ぶ. Cloudflare の Markdown for Agents をオンにするか、コーディングエージェントに、Accept: text/markdown に対して同じ内容の Markdown を返させます。
  4. 内容を完全に一致させる. 価格や主張が食い違わないよう、Markdown を HTML と同じソースから生成します。
  5. curl で確かめる. Accept: text/markdown を付けてページを要求し、content-type と vary: accept が返ってくることを確認します。

よくある間違い

  • HTML ページにない主張を書いた Markdown 版を作ること。Google はこれをクローキングと呼びます。
  • HTML ページのテキストがブラウザでしか描画されていないのに、Markdown 版を作ること。
  • vary: accept を付けずに同じ URL で Markdown を返すこと。キャッシュが Markdown をブラウザに渡してしまいます。
  • llms.txt や Markdown 版で Google のランキングが上がると期待すること。Google はこれらを無視すると説明しています。

easyIndex での解決方法

コーディングエージェントが、現在のルールに沿って MCP 経由で、リポジトリ内の各ページを作成して公開します。easyIndex は提出時にそのページを監査し、公開中の HTML ページ自体を確認したうえで、AI クローラーがどのページを読んでいるか、各ページが AI アシスタントから何人の訪問を生んでいるかを表示します。1サイトあたり月額US$30、7日間の無料トライアル付き。

よくある質問

Markdown for Agents は llms.txt と同じものですか？

いいえ。llms.txt はサイトのルートにある1つのインデックスファイルです。Markdown for Agents は、text/markdown が要求されたときに、任意のページの Markdown 版を返します。

Cloudflare の無料プランで Markdown for Agents は使えますか？

いいえ。Cloudflare のドキュメントでは、追加料金なしで使えるのは Pro、Business、Enterprise プランと SSL for SaaS の顧客です。

Markdown を返せば、ChatGPT が自社サイトを引用しやすくなりますか？

そうだと示した例はありません。OpenAI のクローラーのドキュメントには Markdown についての記載がなく、引用は、ページがクロール可能で、質問に答えているかどうかで決まります。

Cloudflare なしでも、コーディングエージェントはこれを作れますか？

はい。ルートやミドルウェアで、Accept ヘッダーが求めたときに同じ内容を Markdown で返せます。そのレスポンスには vary: accept を付けます。

続きを読む

最終確認日 .

LLMO対策：AI エージェントに Markdown を返すべきか