llms.txt 要不要做?Markdown for Agents 又是什麼?

這是選用項目,而且絕不能取代好的 HTML。Google 表示您不需要 Markdown 或 AI 文字檔也能出現在 Google 搜尋中,其 AI 功能讀的也是同樣的 HTML 頁面。Markdown 版本能幫助有需要的代理,例如 Claude Code,用更少的 token 讀取您的頁面。若您提供,內容必須與 HTML 頁面完全一致。

重點事實

誰真正會讀 Markdown 版本?

主要是程式代理,以及在使用者要求時抓取頁面的 AI 工具,而不是決定引用內容的搜尋爬蟲。

讀取者讀取的內容Markdown 有幫助嗎?
Google 搜尋、AI 摘要、AI 模式您的 HTML 頁面沒有幫助:Google 表示不需要 Markdown
Claude Code 等程式代理網站在 Accept: text/markdown 時提供的 Markdown有幫助:token 更少,文字更乾淨
開發者文件的讀者每一頁的 .md 副本有幫助:OpenAI 自家的開發者文件在網址後加上 .md 即可取得
llms.txt一份簡短的索引檔對 Google 搜尋沒有幫助,Google 會忽略它

對機器人提供 Markdown 算是 cloaking 嗎?

如果內容相同,就不算。Google 將 cloaking 定義為向使用者與搜尋引擎呈現不同內容,意圖操縱排名並誤導使用者。

若 Markdown 副本與 HTML 頁面的文字、價格與主張完全相同,那只是格式不同,不是內容不同。真正的風險,是 Markdown 頁面寫了額外的、專為 AI 撰寫的主張。

我的商業網站也該這樣做嗎?還是只有文件網站需要?

文件與開發者工具獲益最多,因為它們的讀者常是程式代理。賣給一般人的商業網站,更該重視完整、伺服器渲染的 HTML 頁面,回答買家的問題。

如果您的網站已經在付費方案的 Cloudflare 後面,開啟此功能只是一個開關,不會額外收費。手動為每一頁另外建立並維護第二份副本,通常不值得。

我要怎麼檢查代理拿到的是什麼?

使用 Markdown 的 Accept 標頭請求頁面,並檢查回傳的標頭。回應必須包含 content-type: text/markdown 與 vary: accept,讓快取能把兩個版本分開。

# 代理要求 Markdown 時會收到的內容
curl -s -H "Accept: text/markdown" https://www.example.com/pricing | head -20

# 隨之回傳的標頭
curl -sI -H "Accept: text/markdown" https://www.example.com/pricing | grep -i -E "content-type|vary"
# 預期結果:content-type: text/markdown ... 以及 vary: accept

easyIndex 如何處理 Markdown?

當您的程式代理提交頁面時,easyIndex 會稽核該頁面,然後檢查正式網站上已發布的 HTML 頁面,因為那才是搜尋與 AI 爬蟲讀取的內容。頁面只寫一次,並為建立索引而寫,因此不會出現第二個版本逐漸走樣的情況。

逐步操作

  1. 先修好 HTML. 確保每個公開頁面的完整文字都在伺服器渲染的 HTML 中,並且已列入 Sitemap。
  2. 決定誰需要 Markdown. 只有當程式代理或開發者會讀取您的頁面時,才加入 Markdown 版本,例如文件或 API。
  3. 選定一種方法. 開啟 Cloudflare 的 Markdown for Agents,或讓您的程式代理在 Accept: text/markdown 時提供相同內容的 Markdown。
  4. 保持內容完全一致. 從與 HTML 相同的來源產生 Markdown,確保價格與主張永遠不會不一樣。
  5. 用 curl 測試. 以 Accept: text/markdown 請求頁面,確認回傳的 content-type 與 vary: accept。

常見錯誤

  • 撰寫的 Markdown 頁面含有 HTML 頁面上沒有的主張,這正是 Google 所說的 cloaking。
  • HTML 頁面的文字仍然只在瀏覽器中渲染,卻已建立 Markdown 副本。
  • 在同一個網址提供 Markdown 卻沒有 vary: accept,導致快取把 Markdown 交給瀏覽器。
  • 以為 llms.txt 檔或 Markdown 副本能提升 Google 排名,但 Google 表示會忽略它們。

easyIndex 如何解決

您的程式代理會在您的程式碼儲存庫(repo)中撰寫並發布每個頁面,透過 MCP 依最新規則逐步指引。提交時 easyIndex 會稽核頁面,並自行檢查正式網站上的 HTML 頁面,接著顯示哪些頁面被 AI 爬蟲讀取,以及每一頁帶來多少 AI 助理的造訪。每個網站每月 US$30,提供 7 天免費試用。

常見問題

Markdown for Agents 和 llms.txt 一樣嗎?

不一樣。llms.txt 是放在網站根目錄的一個索引檔;Markdown for Agents 則是在請求要求 text/markdown 時,回傳任一頁面的 Markdown 版本。

Markdown for Agents 能在 Cloudflare 的免費方案中使用嗎?

不能。Cloudflare 的文件列出的是 Pro、Business 與 Enterprise 方案,以及 SSL for SaaS 客戶,且不需額外付費。

如果我提供 Markdown,ChatGPT 會更常引用我的網站嗎?

目前沒有人證實這點。OpenAI 的爬蟲文件沒有提到 Markdown,引用取決於頁面能否被檢索,以及是否回答了問題。

不用 Cloudflare,我的程式代理能做到嗎?

可以。路由或中介層可以在 Accept 標頭要求時,回傳相同內容的 Markdown,並在回應中加上 vary: accept。

延伸閱讀

最後驗證日期 .

llms.txt 要不要做?Markdown for Agents 是什麼?