什么是Robots协议?
发布时间:阅读数:626
Robots是一种搜索引擎索引协议规范,它定义和约束了搜索引擎抓取得范围与边界,通常位于根目录下得robots.txt文件中
关键字及解释
User-agent
指定搜索引擎,*号为指定所有搜索引擎
Disallow
表示禁止索引的目录,根(/)表示所有
Allow
表示允许爬取的目录
Sitemap
告诉搜索引擎你的站点地图的位置
使用方法及示例
示例一:允许所有的搜索引擎抓取(也是默认行为)
User-agent: *
Disallow:
示例二:禁止所有搜索引擎抓取
User-agent: *
Disallow: /
示例三:禁止搜索引擎抓取某几个目录
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
示例四:只2允许搜索引擎抓取某几个目录
User-agent: *
Allow: /01/
Allow: /02/
Allow: /03/
在微微CMS上robots.txt设置
微微cms系统直接支持robots设置,无线在服务器上修改,即可完成,是不是很厉害?来看看吧。
1. 打开微微CMS后台,并点击系统设置
2. 下拉,找到Rbots规则,并输入相映的内容
3. 点击确认即可完成
4. 打开URL验证
https://www.vvcms.cn/robots.txt