llms.txt不是通用AI排名协议。本文说明哪些系统可能使用它、Google为何明确忽略它,以及网站如何把它作为实验性内容索引。
它试图解决什么
llms.txt通常在网站根目录提供面向语言模型的简明目录,列出重要文档和说明。它的潜在价值是帮助支持该约定的工具发现站点资料,而不是向模型发出“必须引用”的指令。
官方已知边界
Google明确表示其搜索及生成式AI功能不使用llms.txt,创建该文件不会提升也不会损害Google可见度。OpenAI关于ChatGPT搜索发现的官方建议重点是不要阻止OAI-SearchBot,也没有把llms.txt列为准入条件。
不同第三方工具可能主动读取该文件,因此是否保留取决于维护成本。文件失效、链接错误或与网站事实冲突,会制造新的信息治理问题。
实施建议
- 只列正式、公开、稳定且希望被引用的URL。
- 包含站点名称、主题、方法与许可说明。
- 构建时自动校验链接,避免手工清单过期。
- 在页面上明确标注其为实验性目录,不宣传排名效果。
把它当目录,不当排名按钮
llms.txt可以用简洁文本列出站点定位和重要页面,方便支持该格式的工具读取;但它不能替代robots.txt、站点地图、内部链接和可访问正文,也没有共同认可的排名保证。
部署后应观察服务器日志和实际产品行为,确认是否有工具请求该文件。即使无人访问,它也不应影响核心页面发布;如果维护成本超过价值,保持一份简短稳定的目录即可。
一份简短文件应该包含什么
如果决定提供llms.txt,可以用一句话说明网站是谁、服务什么读者,再列出少量最重要的正式页面,例如入门指南、方法页、数据说明和联系信息。链接使用规范HTTPS地址,避免复制整篇文章、堆放全部URL或写入所谓排名指令。完整页面发现仍交给内部链接和站点地图。
文件内容需要随栏目和规范地址变化而更新,并与robots规则保持一致。若某个路径不应公开,就不应因为它出现在llms.txt而放松权限。部署后可以从日志观察是否有工具访问,但访问次数不能证明内容被模型采用。当前生态仍在变化,因此把它作为低成本补充即可,不应挤占正文、技术基础和来源建设的优先级。
- 网站名称与一句清楚定位。
- 少量高价值规范URL及其用途。
- 可选的联系、版权或使用说明。
- 不包含隐私路径、密钥、隐藏提示或营销保证。
参考资料
- Google生成式搜索官方指南https://developers.google.com/search/docs/fundamentals/ai-optimization-guide?hl=zh-cn
- OpenAI发布者指南https://help.openai.com/en/articles/12627856-publishers-and-developers-faq
外部资料可能更新,阅读时请以链接中的最新说明为准。
请通过内容更正页联系我们,并附上对应页面与来源。