Cloudflare 从 2026-09-15 起对新接入域名、新站点、未改设置的免费账户启用新默认：展示广告的页面默认拦 Training 与 Agent 爬虫、保留 Search。真正的坑在混合爬虫——Googlebot 一个身份同时干搜索索引和 AI 内容整合，而规则是「最严格的设置获胜」。旧开关没检查，可能连 Google 也一起挡掉，站点从搜索结果里静默消失。
大多数人这样做
听说要拦 AI 爬虫，进后台把「Block AI Bots」总开关一勾——AI 是拦住了，Googlebot 也被一并挡在门外，站点慢慢从搜索结果里消失，你还不知道为什么。
换成这样
按用途分开设：Search 放行，Training / Agent 各自明确表态；改完回头再确认一遍 Googlebot 仍能进——搜索流量和 AI 边界都要。