使用mate标签控制页面抓取
发布时间:阅读数:600
在前一章中，我们知道了如果通过robots.txt来控制搜索引擎的索引抓取，在这一章中，我们继续深入一下单个页面抓取控制。
基础配置
Name值
ROBOTS 表示所有的搜索引擎
Baiduspider 表示指定百度蜘蛛
Googlebot 表示指定谷歌蜘蛛
Content值
index 允许索引
noindex 不允许索引
follow 允许索引当前页面下的链接
nofollow 不允许索引当前页面下的链接
noarchive 不允许快照
用法示例
<meta name="robots" content="index> 