Cloudflare 近期发布服务默认规则重大更新，给全行业 AI 企业定下 9 月 15 日整改期限。所有 AI 厂商必须拆分搜索爬虫与模型训练、AI 代理专用爬虫，未完成区分的混合爬虫访问带广告页面会被系统自动拦截。
新规覆盖范围十分广泛，新入驻平台客户、老用户新建站点以及全部免费用户网站均统一生效。网站管理员若想放行混合爬虫，只能手动修改后台配置，该调整直接改变 AI 企业获取网页训练素材的渠道。
大量站长愿意开放内容给传统搜索引擎收录，却不愿知识产权被 AI 无偿大规模采集训练。Cloudflare 直言谷歌爬虫兼具搜索与 AI 数据采集功能，网站很难做到仅开放搜索、隔绝 AI 训练抓取。谷歌对此作出回应，推出专属机器人工具供站点屏蔽 AI 训练取用，不影响搜索收录。
但其核心爬虫仍会同步为搜索内置 AI 功能采集数据，难以彻底割裂搜索与 AI 数据需求。平台 CEO 表示机器人流量早已远超人类访问，行业生态急需规范约束各类抓取行为。
Cloudflare 持续加码内容方保护工具，从 2024 年防 AI 爬虫工具迭代至全新按价值计费模式。以往平台采用按抓取次数收费，如今升级为 Pay Per Use，依据内容在 AI 中产生的实际收益结算。数据显示超半数 AI 爬虫反复抓取无更新页面，付费机制能减少无效流量，为创作者增收。
目前该付费方案已联合两家 AI 企业试点，内容被 AI 产品调用后站长可直接获取收益。在版权监管趋严的环境下，新规倒逼 AI 企业提升抓取透明度，也让网页创作者掌握更多内容控制权。
