最新版 Yoast 新增 llms.txt 迎接AI爬蟲

1214 閱讀 0 評論 12 點贊

大家好！我是SEO小平，微信號直接復制?Xiao_Ping_Up?，或者掃描二維碼

這幾天在給陪跑學員教授Yoast SEO插件的時候發現最新版的Yoast是有llms.txt 一鍵生成的功能了。和你網站的xml站點地圖一樣，是一鍵生成的，不浪費你的時間，無需任何繁瑣的工序即可完成，超級簡單。

Yoast自己的官方網站也上傳了llms.txt 供AI爬蟲抓取?

https://yoast.com/llms.txt

注意：要最新版的Yoast插件才有此功能，舊版本的目前還沒看到有這個功能。

既然現在不需要大家復雜的去手動制作 llms.txt 了，大家能加就加上吧，畢竟Yoast這里輕點一下按鈕即可完成，不要什么成本，不花什么時間，主打一個“總比沒有要好”。

其實一個多月之前就有SEO行業的朋友們來問?llms.txt ?這到底有沒有用，我是覺得沒太大作用的，因為AI你做為一個新生事物，你讀取不了現有網站，你不可能讓現在所有網站為你而改變去做一堆 llms.txt ，應該是你AI爬蟲自己進行技術提升來升級你們的抓取和理解能力。

什么是?llms.txt?

llms.txt?標準的提出旨在解決一個根本性挑戰：大型語言模型（LLM）難以高效地解析標準網頁，這些網頁通常充斥著與核心內容無關的 HTML、JavaScript、CSS 和廣告?。對于上下文窗口有限的模型而言，這種解析過程緩慢、容易出錯且效率低下?。??

為應對此問題，Answer.AI 的 Jeremy Howard 于 2024 年 9 月首次提出了一項解決方案：引入一個簡單、結構化的純文本 Markdown 文件（/llms.txt），作為 AI 的“備忘單”或“發現指南”?。它能直接將 LLM 指向最核心、人類可讀的內容，并剝離掉所有噪音?。此外，該提案還鼓勵網站通過在原始 URL 后附加?.md?來提供頁面的純凈 Markdown 版本，使內容能被 AI 工具直接消化?

主要 AI 開發商的官方對 llms 的評價

谷歌 (Gemini)：谷歌的 John Mueller 態度明確。他在 Bluesky 上表示：“僅供參考，目前沒有任何 AI 系統使用 llms.txt”?。他還說，服務器日志顯示，消費者級別的 LLM 會抓取網頁，但“??它們中沒有一個會去抓取 llms.txt 文件”?。他對該標準未來的采用表示深度懷疑，將其比作買彩票?，并類比為早已過時的??keywords?元標簽?。??
OpenAI (ChatGPT)：OpenAI 為其爬蟲（如?GPTBot、ChatGPT-User）發布的官方文檔中并未提及?llms.txt。ChatGPT官方文檔只詳細地說明了如何使用?robots.txt?來授予或拒絕訪問?。??
Anthropic (Claude)：同樣，Anthropic 為其爬蟲（如?ClaudeBot、Claude-User）發布的文檔也詳細說明了通過?robots.txt?進行控制，甚至提到了非標準的?Crawl-delay?指令，但完全沒有提到?llms.txt。盡管 Anthropic 自己的文檔網站和一些相關項目使用了?llms.txt?文件?，但公司官方的爬蟲政策并未承認其是用于控制外部網站的機制。

llms.txt 不是AI的靈丹妙藥，核心還是要關注內容本身的質量

專注于內容質量和結構。為人類編寫清晰、組織良好的內容。使用正確的 HTML 標題（H1, H2 等）、列表和結構化數據（Schema.org）。這使得內容對人類和 AI?都更容易解析，是比依賴一個單獨文件遠為有效的策略?。??
?llms.txt?照樣添加上，但不要花太多精力
既然Yoast能輕松搞定，那肯定還是把他添加上，總之沒有壞處，有沒有AI流量的好處，還不知道。