使用mate标签控制页面抓取

发布时间:阅读数:43

在前一章中,我们知道了如果通过robots.txt来控制搜索引擎的索引抓取,在这一章中,我们继续深入一下单个页面抓取控制。

基础配置

Name值

ROBOTS 表示所有的搜索引擎

Baiduspider 表示指定百度蜘蛛

Googlebot 表示指定谷歌蜘蛛

Content值

index 允许索引

noindex 不允许索引

follow 允许索引当前页面下的链接

nofollow 不允许索引当前页面下的链接

noarchive 不允许快照

用法示例

<meta name="robots" content="index>


上一篇:网站的标题描述关键字应该怎么写才好?

下一篇:什么是Robots协议?