什么是Robots协议?
发布时间:阅读数:562
Robots是一种搜索引擎索引协议规范,它定义和约束了搜索引擎抓取得范围与边界,通常位于根目录下得robots.txt文件中
关键字及解释
User-agent 指定搜索引擎,*号为指定所有搜索引擎
Disallow 表示禁止索引的目录,根(/)表示所有
Allow 表示允许爬取的目录
Sitemap 告诉搜索引擎你的站点地图的位置
使用方法及示例
示例一:允许所有的搜索引擎抓取(也是默认行为)
User-agent: *
Disallow: 示例二：禁止所有搜索引擎抓取
User-agent: *
Disallow: / 示例三:禁止搜索引擎抓取某几个目录
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/ 示例四:只2允许搜索引擎抓取某几个目录
User-agent: *
Allow: /01/
Allow: /02/
Allow: /03/ 在微微CMS上robots.txt设置
微微cms系统直接支持robots设置，无线在服务器上修改，即可完成，是不是很厉害？来看看吧。
1. 打开微微CMS后台，并点击系统设置
2. 下拉，找到Rbots规则,并输入相映的内容
3. 点击确认即可完成
4. 打开URL验证
https://www.vvcms.cn/robots.txt
