llms.txt 要不要做?Markdown for Agents 又是什麼?
這是選用項目,而且絕不能取代好的 HTML。Google 表示您不需要 Markdown 或 AI 文字檔也能出現在 Google 搜尋中,其 AI 功能讀的也是同樣的 HTML 頁面。Markdown 版本能幫助有需要的代理,例如 Claude Code,用更少的 token 讀取您的頁面。若您提供,內容必須與 HTML 頁面完全一致。
重點事實
- Cloudflare 於 2026 年 2 月 12 日推出 Markdown for Agents:當用戶端送出 Accept: text/markdown 時,會把頁面的 HTML 轉換成 Markdown。 (Cloudflare 部落格:Introducing Markdown for Agents(2026 年 2 月 12 日))
- 在 Cloudflare 的範例中,一篇部落格文章的 HTML 為 16,180 個 token,Markdown 為 3,150 個,Cloudflare 稱之為減少 80%。 (Cloudflare 部落格:Introducing Markdown for Agents(2026 年 2 月 12 日))
- Markdown for Agents 在 Cloudflare 的 Pro、Business 與 Enterprise 方案中免費提供,只轉換 HTML,每頁上限 6 MiB。 (Cloudflare 文件:Markdown for Agents)
- Cloudflare 表示,Claude Code 與 OpenCode 等熱門程式代理已會送出 Accept: text/markdown 標頭。 (Cloudflare 部落格:Introducing Markdown for Agents(2026 年 2 月 12 日))
- Google 的生成式 AI 指南於 2026 年 7 月 10 日更新,表示您不需要建立 Markdown 或 AI 文字檔也能出現在 Google 搜尋中,而 llms.txt 對能見度既無幫助,也無傷害。 (Google Search Central:為生成式 AI 功能優化網站的指南(2026 年 7 月 10 日更新))
- Google 的垃圾內容政策於 2026 年 8 月 28 日更新,將 cloaking 定義為向使用者與搜尋引擎呈現不同內容,意圖操縱排名並誤導使用者。 (Google Search Central:垃圾內容政策(cloaking))
- OpenAI 自家的爬蟲文件列出 4 個 user agent,並透過在網址後加上 .md,提供每個文件頁面的 Markdown 版本。 (OpenAI: Overview of OpenAI crawlers)
誰真正會讀 Markdown 版本?
主要是程式代理,以及在使用者要求時抓取頁面的 AI 工具,而不是決定引用內容的搜尋爬蟲。
| 讀取者 | 讀取的內容 | Markdown 有幫助嗎? |
|---|---|---|
| Google 搜尋、AI 摘要、AI 模式 | 您的 HTML 頁面 | 沒有幫助:Google 表示不需要 Markdown |
| Claude Code 等程式代理 | 網站在 Accept: text/markdown 時提供的 Markdown | 有幫助:token 更少,文字更乾淨 |
| 開發者文件的讀者 | 每一頁的 .md 副本 | 有幫助:OpenAI 自家的開發者文件在網址後加上 .md 即可取得 |
| llms.txt | 一份簡短的索引檔 | 對 Google 搜尋沒有幫助,Google 會忽略它 |
對機器人提供 Markdown 算是 cloaking 嗎?
如果內容相同,就不算。Google 將 cloaking 定義為向使用者與搜尋引擎呈現不同內容,意圖操縱排名並誤導使用者。
若 Markdown 副本與 HTML 頁面的文字、價格與主張完全相同,那只是格式不同,不是內容不同。真正的風險,是 Markdown 頁面寫了額外的、專為 AI 撰寫的主張。
我的商業網站也該這樣做嗎?還是只有文件網站需要?
文件與開發者工具獲益最多,因為它們的讀者常是程式代理。賣給一般人的商業網站,更該重視完整、伺服器渲染的 HTML 頁面,回答買家的問題。
如果您的網站已經在付費方案的 Cloudflare 後面,開啟此功能只是一個開關,不會額外收費。手動為每一頁另外建立並維護第二份副本,通常不值得。
我要怎麼檢查代理拿到的是什麼?
使用 Markdown 的 Accept 標頭請求頁面,並檢查回傳的標頭。回應必須包含 content-type: text/markdown 與 vary: accept,讓快取能把兩個版本分開。
# 代理要求 Markdown 時會收到的內容 curl -s -H "Accept: text/markdown" https://www.example.com/pricing | head -20 # 隨之回傳的標頭 curl -sI -H "Accept: text/markdown" https://www.example.com/pricing | grep -i -E "content-type|vary" # 預期結果:content-type: text/markdown ... 以及 vary: accept
easyIndex 如何處理 Markdown?
當您的程式代理提交頁面時,easyIndex 會稽核該頁面,然後檢查正式網站上已發布的 HTML 頁面,因為那才是搜尋與 AI 爬蟲讀取的內容。頁面只寫一次,並為建立索引而寫,因此不會出現第二個版本逐漸走樣的情況。
逐步操作
- 先修好 HTML. 確保每個公開頁面的完整文字都在伺服器渲染的 HTML 中,並且已列入 Sitemap。
- 決定誰需要 Markdown. 只有當程式代理或開發者會讀取您的頁面時,才加入 Markdown 版本,例如文件或 API。
- 選定一種方法. 開啟 Cloudflare 的 Markdown for Agents,或讓您的程式代理在 Accept: text/markdown 時提供相同內容的 Markdown。
- 保持內容完全一致. 從與 HTML 相同的來源產生 Markdown,確保價格與主張永遠不會不一樣。
- 用 curl 測試. 以 Accept: text/markdown 請求頁面,確認回傳的 content-type 與 vary: accept。
常見錯誤
- 撰寫的 Markdown 頁面含有 HTML 頁面上沒有的主張,這正是 Google 所說的 cloaking。
- HTML 頁面的文字仍然只在瀏覽器中渲染,卻已建立 Markdown 副本。
- 在同一個網址提供 Markdown 卻沒有 vary: accept,導致快取把 Markdown 交給瀏覽器。
- 以為 llms.txt 檔或 Markdown 副本能提升 Google 排名,但 Google 表示會忽略它們。
easyIndex 如何解決
您的程式代理會在您的程式碼儲存庫(repo)中撰寫並發布每個頁面,透過 MCP 依最新規則逐步指引。提交時 easyIndex 會稽核頁面,並自行檢查正式網站上的 HTML 頁面,接著顯示哪些頁面被 AI 爬蟲讀取,以及每一頁帶來多少 AI 助理的造訪。每個網站每月 US$30,提供 7 天免費試用。
常見問題
Markdown for Agents 和 llms.txt 一樣嗎?
不一樣。llms.txt 是放在網站根目錄的一個索引檔;Markdown for Agents 則是在請求要求 text/markdown 時,回傳任一頁面的 Markdown 版本。
Markdown for Agents 能在 Cloudflare 的免費方案中使用嗎?
不能。Cloudflare 的文件列出的是 Pro、Business 與 Enterprise 方案,以及 SSL for SaaS 客戶,且不需額外付費。
如果我提供 Markdown,ChatGPT 會更常引用我的網站嗎?
目前沒有人證實這點。OpenAI 的爬蟲文件沒有提到 Markdown,引用取決於頁面能否被檢索,以及是否回答了問題。
不用 Cloudflare,我的程式代理能做到嗎?
可以。路由或中介層可以在 Accept 標頭要求時,回傳相同內容的 Markdown,並在回應中加上 vary: accept。
延伸閱讀
- llms.txt 有效嗎?
- ChatGPT 和 Claude 看得到我以 JavaScript 建置的網站嗎?
- Cloudflare 是否擋住了我網站上的 ChatGPT 與其他 AI 爬蟲?
- 我要如何用 WebMCP 讓網站可供 AI 代理使用?
- easyIndex 如何運作?我需要準備什麼?多久會有成效?
- easyIndex 費用多少?
最後驗證日期 .