什么是Robots协议?

发布时间:阅读数:71

Robots是一种搜索引擎索引协议规范,它定义和约束了搜索引擎抓取得范围与边界,通常位于根目录下得robots.txt文件中

关键字及解释

User-agent 指定搜索引擎,*号为指定所有搜索引擎

Disallow 表示禁止索引的目录,根(/)表示所有

Allow 表示允许爬取的目录

Sitemap 告诉搜索引擎你的站点地图的位置


使用方法及示例

示例一:允许所有的搜索引擎抓取(也是默认行为)

User-agent: *
Disallow:

示例二:禁止所有搜索引擎抓取

User-agent: *
Disallow: /

示例三:禁止搜索引擎抓取某几个目录

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

示例四:只2允许搜索引擎抓取某几个目录

User-agent: *
Allow: /01/
Allow: /02/
Allow: /03/


在微微CMS上robots.txt设置

微微cms系统直接支持robots设置,无线在服务器上修改,即可完成,是不是很厉害?来看看吧。

1. 打开微微CMS后台,并点击系统设置

2. 下拉,找到Rbots规则,并输入相映的内容

什么是Robots?

3. 点击确认即可完成

4. 打开URL验证

https://www.vvcms.cn/robots.txt

什么是Robots?



上一篇:使用mate标签控制页面抓取

下一篇:在Centos7/Ubuntu/Debian上如何安装Mysql/Mairadb