微微CMS如何进行Robots.txt设置

博客 微微CMS 2024-10-13 22:02:17 86

微微CMS如何进行Robots.txt设置

Robots是一种搜索引擎索引协议规范,它定义和约束了搜索引擎抓取的范围与边界,通常位于根目录下的robots.txt文件中

关键字及解释

  • User-agent 指定搜索引擎,*号为指定所有搜索引擎
  • Disallow 表示禁止索引的目录,根(/)表示所有
  • Allow表示允许爬取的目录
  • Sitemap 告诉搜索引擎你的站点地图的位置

 

使用方法及示例

示例一:允许所有的搜索引擎抓取(也是默认行为)

User-agent: *
Disallow:Allow/

示例二:禁止所有搜索引擎抓取

User-agent: *
Disallow: /

示例三:禁止搜索引擎抓取某几个目录

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

示例四:只允许搜索引擎抓取某几个目录

User-agent: *
Allow: /01/
Allow: /02/
Allow: /03/

在微微CMS上robots.txt设置

微微cms系统直接支持robots设置,在配置管理中的站点管理中即有对应的robots.txt设置表单项,内容如下

验证Robots设置

接下来打开 vvcms.cn/robots.txt 即可看到输出的rotobts内容



点击获取验证码