不少开发者发现，在Google官方的PageSpeed Insights（pagespeed.web.dev）检测项目中，新增了与AI智能体浏览（Agent Browsing）相关的体验检测，其中就包含了llms.txt规范检查。这也让很多人产生疑问，Google不是一直表示llms.txt不是SEO和GEO排名因素吗？为什么现在官方工具又开始检测它了？
首先需要明确一点，Google Search和PageSpeed（Lighthouse）属于不同产品团队，两者关注的目标完全不同。
负责Google搜索算法的团队一直保持相同态度。官方多次表示llms.txt不会影响网页收录，不参与搜索排名计算，AI Overviews也不会依赖llms.txt进行内容排序。原因其实很好理解。搜索引擎的职责是根据网页真实内容判断质量，如果允许站长通过一个文本文件告诉搜索引擎”哪些内容最重要”，那么这个文件很容易变成当年的keywords标签，最终充满关键词堆砌和作弊内容。
Google本身拥有非常强大的页面理解能力，可以直接解析网页结构和内容，因此没有必要依赖站长提供的摘要文件。
所以，如果希望通过llms.txt提升SEO排名或者增加Google搜索流量，目前并没有官方依据支持。
PageSpeed为什么开始检测llms.txt？
虽然搜索团队没有采用llms.txt，但负责PageSpeed和Lighthouse的Chrome团队关注的是另外一件事情——AI智能体访问网站是否更加高效。
过去，PageSpeed主要检测的是页面加载速度、用户体验和Core Web Vitals指标。如今，又增加了Agent Browsing（智能体浏览体验），主要为了检测AI智能体访问网站时，是否能够快速理解页面结构并完成任务。
因此，llms.txt被纳入体验检测，而不是搜索排名检测。
什么是llms.txt？
LLMs.txt文件是放置在站点根目录中的纯文本文件，主要作用是为大型语言模型(llm)提供一个清晰、优先的url列表，让AI清楚的知道哪些内容是重要的，哪些不需要抓取。
llms.txt与为搜索引擎爬虫构建的robots.txt或sitemap.xml又有些不同，llms.txt是专门为AI工具创建的，采用Markdown格式，让模型可以轻松扫描和了解你的网站。
LLMs.txt文件配置要点：
- 干净的url列表，可选地与链接标题配对
- 专为实时访问而设计，而不是长期索引
- 帮助AI定位复杂页面结构中经常遗漏的内容
为什么LLM需要llms.txt？
因为AI访问网站和搜索引擎爬虫的工作方式完全不同。传统搜索引擎通常会：
- 全站抓取；
- 建立索引；
- 定期重新访问；
- 根据robots.txt和sitemap.xml进行抓取。
抓取完成后，内容会长期存储在索引数据库中。
LLM则完全不同。它通常：
- 在用户提问时实时访问网页；
- 不会长期保存网页内容；
- 上下文窗口有限；
- 更容易忽略结构复杂的页面；
- 对JavaScript页面理解能力有限。
如果一个网站：
- 页面层级很多；
- 导航复杂；
- 内容分散；
- 那么AI很可能只读取首页，忽略教程、产品文档或者帮助中心等重要内容。
而llms.txt就是为了帮助AI快速找到这些核心内容。
详细阅读：
llms.txt、robots.txt、sitemap.xml有什么区别？
| 文件 | 目的 | 观众 | 格式 |
| llms.txt | 将AI模型引导到关键内容 | 大型语言模型 | 纯文本 (Markdown) |
| robots.txt | 控制爬网程序对网站页面的访问 | 搜索引擎爬虫 | 纯文本 |
| sitemap.xml | 列出网站上的所有可索引页面 | 搜索引擎 | XML |
PageSpeed新增AI检测到底检查什么？
目前新增的”智能体浏览”主要包含两类内容。
第一类：已经成熟的体验指标
这些项目本身就是传统网页优化的一部分，只不过现在同样适用于AI。
1、语义化HTML和无障碍结构
AI和屏幕阅读器一样，需要依赖：
- 标题结构；
- ARIA属性；
- 语义化标签；
- 表单结构。
如果网页本身符合规范，那么AI识别按钮、输入框和导航都会更加准确。
对于已经做好基础SEO的网站来说，通常无需额外修改。
2、CLS布局稳定性
CLS（Cumulative Layout Shift）属于Core Web Vitals经典指标。
它衡量的是页面加载过程中元素是否发生位置变化。对于用户来说按钮突然移动，会误点广告。对于AI来说，同样如此。
例如：AI已经计算好点击”提交询盘”按钮的位置，结果页面加载过程中广告插入，按钮发生偏移，那么智能体可能点击失败。
因此，保持良好的CLS表现，同样有助于AI完成任务。
3、llms.txt规范检测
这是最近新增的一项检测。需要注意的是，llms.txt不是必需文件。如果网站没有部署，PageSpeed通常会显示：Not Applicable（不适用），不会影响整体评分。
但是如果已经部署，则需要符合规范，例如：
- 一个一级标题；
- 标准Markdown链接格式；
- 内容不要过短；
- 结构清晰。
否则检测可能提示错误。
除了上述三项之外，还有几项与WebMCP相关的新检测。不过Google官方已经明确说明这些功能仍处于开发阶段，目前不会参与评分，未来标准也可能继续调整。
什么是WebMCP？可以把WebMCP理解成给网页上的按钮、表单和功能模块增加AI可识别标签。例如：
传统情况下，AI需要自己判断：
- 哪个输入框填写邮箱？
- 哪个按钮负责提交？
而WebMCP可以直接告诉AI：
- 这是姓名输入框；
- 这是邮箱输入框；
- 这是提交按钮；
- 这是询盘表单。
推荐阅读：
(本文由美国主机侦探原创，转载请注明出处“美国主机侦探”和原文地址！)
微信扫码加好友进群
主机优惠码及时掌握
QQ群号：164393063
主机优惠发布与交流
