Meta Robots标签详解：index、noindex、nofollow参数与使用方法

如果你在网页中使用了标签，就可以通过它们向搜索引擎说明，希望搜索引擎如何抓取或索引网站的部分内容。本文将介绍 Meta Robots 标签中可以使用的各种值、每个值的具体作用，以及不同搜索引擎对这些值的支持情况。

一、Meta Robots标签有哪些值？

以下这些值，也可以称为“参数”，可以单独使用，也可以使用英文逗号组合在一起，放入 Meta Robots 标签的 content 属性中，用于控制搜索引擎如何处理网页。

示例：

<meta name="robots" content="noindex, nofollow">

下面将逐一介绍这些参数的作用。

1、index

允许搜索引擎将页面加入索引，因此页面可以出现在用户的搜索结果中。

如果 Meta Robots 标签中没有设置与索引相关的指令，搜索引擎通常会默认按照 index 处理。

2、noindex

禁止搜索引擎将页面加入索引，也就不会在搜索结果中展示该页面。

需要注意的是，Google曾通过非正式渠道表示，如果页面长期设置为 noindex，后续可能会被按照同时设置 nofollow 的方式处理。不过具体机制并不明确，其他搜索引擎是否采用相同处理方式也没有统一说明。

3、follow

告诉搜索引擎可以继续跟踪页面中的链接，以便发现其他页面。

如果没有设置与链接跟踪相关的指令，搜索引擎通常会默认按照 follow 处理。

4、nofollow

告诉搜索引擎不要为页面中的链接传递权重。

这里的链接不仅包括正文中的链接，也包括导航链接、图片链接以及指向其他资源的链接。

不同搜索引擎对 nofollow 的处理方式并不完全一致。目前并不确定该参数是否会阻止搜索引擎抓取链接，还是只是不向链接传递权重。

例如，Google仍可能跟踪 nofollow 链接以发现其他页面，但不会将链接权重传递过去。

5、none

none 是以下组合的简写形式：

noindex, nofollow

使用该参数后，搜索引擎不会将页面加入索引，也不会为页面中的链接传递权重。

6、all

all 是以下组合的简写形式：

index, follow

不过，index, follow本身就是搜索引擎默认采用的处理方式，因此设置 all 通常不会产生实际作用。

7、noimageindex

禁止搜索引擎将页面中的图片加入索引。

需要注意的是，如果图片文件被其他页面直接引用，搜索引擎仍然可能单独索引这些图片。因此，如果希望更彻底地限制图片被索引，通常使用 X-Robots-Tag HTTP 响应头会更合适。

8、noarchive

禁止搜索引擎在搜索结果中展示该页面的缓存版本。

9、nocache

nocache 与 noarchive 的作用相同，但主要用于 MSN/Live。

10、nosnippet

禁止搜索引擎在搜索结果中展示该页面的文字摘要或视频预览，也禁止搜索引擎展示该页面的缓存版本。

需要注意的是，即使设置了 nosnippet，搜索结果中仍然可能显示图片缩略图。如果不希望显示图片缩略图，还需要同时使用 noimageindex。

11、nositelinkssearchbox

禁止搜索引擎在搜索结果中显示站内搜索框。

12、nopagereadaloud

禁止搜索引擎通过语音服务或语音搜索结果朗读页面内容。

13、notranslate

禁止搜索引擎在搜索结果中显示该页面的翻译版本。

14、max-snippet:[number]

设置搜索结果中页面摘要可以展示的最大字符数。

如果没有设置该参数，搜索引擎可能会使用默认值 0-1。如果希望表示“不限制摘要长度”，可以设置一个代表不限制的值。

15、max-video-preview:[number]

设置视频预览可以展示的最长时长，单位为秒。

如果没有设置该参数，搜索引擎可能会使用默认值 0-1。如果希望表示“不限制视频预览时长”，可以设置一个代表不限制的值。

16、max-image-preview:[setting]

设置搜索结果中图片预览的最大尺寸，可使用以下值：

none：不显示图片预览；
standard：使用标准尺寸显示图片预览；
large：允许使用较大的图片预览。

如果没有设置该参数，搜索引擎通常会使用默认设置。

17、rating

用于表示页面包含成人内容。

18、unavailable_after

告诉搜索引擎，在指定日期和时间之后，不再在搜索结果中展示该页面。

它可以理解为一种带时间限制的 noindex 指令。

日期和时间必须使用 RFC 850 格式，例如：

Monday, 15-Aug-05 15:52:01 UTC

19、noyaca

禁止搜索结果摘要使用 Yandex Directory 中保存的页面描述。

该参数目前只由 Yandex 支持。

20、noydir

禁止 Yahoo 使用 Yahoo Directory 中保存的页面描述作为搜索结果摘要。

由于 Yahoo 已经关闭该目录，这个参数目前已经废弃，但有时仍然可以在旧页面中看到。

二、哪些搜索引擎支持这些 Meta Robots 参数？

下表整理了不同搜索引擎对常见 Meta Robots 参数的支持情况。

Robots 参数	Google	Yahoo	Bing	Ask	Baidu	Yandex
index	是*	是*	是*	未知	是	是
noindex	是	是	是	未知	是	是
noimageindex	是	否	否	未知	否	否
follow	是*	是*	是*	未知	是	是
nofollow	是	是	是	未知	是	是
none	是	未知	未知	未知	否	是
all	是	未知	未知	未知	否	是
noarchive	是	是	是	未知	是	是
nocache	否	否	是	未知	否	否
nosnippet	是	否	是	未知	否	否
nositelinkssearchbox	是	否	否	否	否	否
nopagereadaloud	是	否	否	否	否	否
notranslate	是	否	否	未知	否	否
max-snippet:[number]	是	是	否	否	否	否
max-video-preview:[number]	是	是	否	否	否	否
max-image-preview:[setting]	是	是	否	否	否	否
rating	是	否	否	否	否	否
unavailable_after	是	否	否	未知	否	否
noodp	否	是**	是**	未知	否	否
noydir	否	是**	否	未知	否	否
noyaca	否	否	否	否	否	是

大多数搜索引擎没有专门说明这些正向参数，但如果搜索引擎支持排除某个参数，例如支持 nofollow，通常也可以推测其支持对应的正向参数 follow。

noodp 和 noydir 所对应的目录已经关闭。虽然部分搜索引擎可能仍然保留对这些参数的支持，但它们实际上很可能已经不起作用。

三、针对特定搜索引擎设置规则

有时候，你可能只希望针对某一个搜索引擎设置规则，而不影响其他搜索引擎。也可以针对不同搜索引擎设置完全不同的处理方式。

这种情况下，可以将 name 属性改成具体的搜索引擎爬虫名称。

例如，下面的写法只针对 Google 设置规则：

<meta name="googlebot" content="noindex, nofollow">

也可以针对其他搜索引擎使用相应的爬虫名称，例如：

<meta name="bingbot" content="noindex">

搜索引擎通常会忽略自己不支持或无法理解的指令。因此，除非确实需要针对不同爬虫设置不同规则，否则通常没有必要添加多组 Meta Robots 标签。

四、冲突参数与 robots.txt 文件

需要注意的是，Meta Robots 标签与 robots.txt 文件的工作方式并不相同，二者之间的冲突可能会导致搜索引擎出现预期之外的处理结果。

例如，如果某个页面在 robots.txt 中被禁止抓取，搜索引擎就可能无法访问该页面，也就无法读取页面中的 Meta Robots 标签。

因此，如果希望搜索引擎识别页面中的 noindex 指令，不能简单地在 robots.txt 中同时禁止搜索引擎抓取该页面。

同时，也要避免在同一个 Meta Robots 标签中设置相互冲突的参数，例如同时使用：

<meta name="robots" content="index, noindex">

如果针对不同搜索引擎设置了不同规则，也要仔细检查是否存在冲突。

当多个参数发生冲突时，搜索引擎通常会采用限制更严格的解释。简单来说，“不展示”通常会优先于“展示”，“不索引”通常会优先于“允许索引”。

例如：

<meta name="robots" content="index, noindex">

在这种情况下，搜索引擎通常会按照 noindex 处理。