1. 结论：在后台「站点配置」里改

VVCMS 会在 /robots.txt 直接输出内容，内容取自后台站点配置中的 robots 字段。也就是说：

• 不需要在服务器上放一个真实的 robots.txt 文件。
• 改完后台配置即生效，不用重启服务。
• 如果你在 Web 服务器（Nginx 等）里另外配了一条 location /robots.txt，它会盖过系统输出，排查时要先确认这一层。

2. 建议的基础写法

User-agent: *
Disallow: /admin
Disallow: /api/

Sitemap: https://你的域名/sitemap.xml

3. 三个常见误区

3.1 把 robots 当成访问控制

robots.txt 只控制合规爬虫抓不抓，不控制谁能访问。写在 Disallow 里的路径，任何人直接敲 URL 照样能打开。真正要挡，必须用登录鉴权、IP 白名单或网关规则，不能靠 robots。

3.2 与 sitemap 自相矛盾

robots 里屏蔽的地址，就不要放进 sitemap。一边告诉爬虫别来，一边又把它列进地图，是最典型的配置冲突。

3.3 用 Disallow 掩盖低质量页面

被 robots 屏蔽的页面仍可能因外链被索引（只是不抓内容），结果是一条没有描述的裸 URL。真正不想被收录，应该用页面级的 <meta name="robots" content="noindex, nofollow">。

4. 排查清单

1. 直接访问 https://你的域名/robots.txt，确认内容是你配置的那一份。
2. 确认里面声明了 Sitemap 地址，且与站点主域名一致。
3. 确认没有误封 /static/ 这类静态资源路径——CSS/JS 被禁抓会影响搜索引擎对页面结构的判断。
4. 确认没有把整站 Disallow: /（常见于从测试环境带过来的配置）。