最后更新时间:2026-09-22 18:53:33
VVCMS 会对AI 搜索、AI 爬虫和智能代理的访问做识别,并单独统计,不与传统搜索引擎流量混在一起。识别依据是请求的 User-Agent。
系统内建了一份 AI 爬虫名单,至少包含:
| 厂商 | 识别对象 |
|---|---|
| OpenAI | GPTBot、OAI-SearchBot、ChatGPT-User |
| Anthropic | ClaudeBot |
| Perplexity | PerplexityBot |
| Google / Amazon / Meta / Apple | Google-Extended、Amazonbot、Meta-ExternalAgent、Applebot-Extended |
| 国内主流 | DeepSeek、豆包、通义千问、智谱 GLM、Kimi、Grok、腾讯元宝、腾讯混元、文心一言等 |
每个平台在统计数据里是独立字段,不是合并成一个"AI 总量"。
进入后台仪表盘,可以看到:
是否允许这些 AI 爬虫抓取,仍然由 robots.txt 决定。你可以在后台站点配置里针对特定 User-Agent 单独写规则,例如允许搜索引擎但屏蔽某个 AI 平台:
User-agent: GPTBot
Disallow: /
屏蔽之后该平台的访问会下降,统计里也会体现出来——这正好可以用来验证 robots 配置是否真的生效。