Cloudflare 近期发布服务默认规则重大更新，给全行业 AI 企业定下 9 月 15 日整改期限。所有 AI 厂商必须拆分搜索爬虫与模型训练、AI 代理专用爬虫，未完成区分的混合爬虫访问带广告页面会被系统自动拦截。
新规覆盖范围十分广泛，新入驻平台客户、老用户新建站点以及全部免费用户网站均统一生效。网站管理员若想放行混合爬虫，只能手动修改后台配置，该调整直接改变 AI 企业获取网页训练素材的渠道。
大量站长愿意开放内容给传统搜索引擎收录，却不愿知识产权被 AI 无偿大规模采集训练。Cloudflare 直言谷歌爬虫兼具搜索与 AI 数据采集功能，网站很难做到仅开放搜索、隔绝 AI 训练抓取。谷歌对此作出回应，推出专属机器人工具供站点屏蔽 AI 训练取用，不影响搜索收录。数智化转型网www.szhzxw.cn
但其核心爬虫仍会同步为搜索内置 AI 功能采集数据，难以彻底割裂搜索与 AI 数据需求。平台 CEO 表示机器人流量早已远超人类访问，行业生态急需规范约束各类抓取行为。数智化转型网www.szhzxw.cn
Cloudflare 持续加码内容方保护工具，从 2024 年防 AI 爬虫工具迭代至全新按价值计费模式。以往平台采用按抓取次数收费，如今升级为 Pay Per Use，依据内容在 AI 中产生的实际收益结算。数据显示超半数 AI 爬虫反复抓取无更新页面，付费机制能减少无效流量，为创作者增收。数智化转型网www.szhzxw.cn
目前该付费方案已联合两家 AI 企业试点，内容被 AI 产品调用后站长可直接获取收益。在版权监管趋严的环境下，新规倒逼 AI 企业提升抓取透明度，也让网页创作者掌握更多内容控制权。
若您对人工智能感兴趣或为人工智能创始人，可添加数智化转型网小助手思思微信加入人工智能交流群。若您在寻找人工智能供应商，可联系数智化转型网小助手思思（17757154048，微信同号）
若您为人工智能服务商，可添加数智化转型网小助手Jasper，加入人工智能行业交流群。
声明：本文来自数智化转型网，版权归作者所有。文章内容仅代表作者独立观点，不代表数智化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。
本文由数智化转型网（www.szhzxw.cn）转载，编辑/翻译：数智化转型网（Professionalism Achieves Leadership 专业造就领导者）白龙
