四大 AI 巨头联手设”拒爬”标准:网站主有了统一退出开关

被各家 AI 爬虫轮番"薅"内容的网站主,终于等来一个统一的对付办法。11 月 1 日消息,OpenAI、谷歌、微软与 Anthropic 宣布将共同采用一套新标准,让内容发布方能够一次性声明"拒绝 AI 抓取",而不必再挨家挨户去谈。

被各家 AI 爬虫轮番”薅”内容的网站主,终于等来一个统一的对付办法。11 月 1 日消息,OpenAI、谷歌、微软与 Anthropic 宣布将共同采用一套新标准,让内容发布方能够一次性声明”拒绝 AI 抓取”,而不必再挨家挨户去谈。

一个开关,多家通用

这套机制由 Anthropic 技术负责人 Kevin Kelley 提交给互联网工程任务组(IETF),并直接嵌进网站已有的 robots.txt 文件里。过去,robots.txt 只告诉搜索引擎哪些页面能抓、哪些不能,如今它的管辖范围被顺势延伸到 AI 训练。差别在于:以前发布方想拦某家 AI,得单独去它那儿登记偏好;有了新标准,一次写入就能同时通知多家。对那些苦于素材被悄悄喂进模型的媒体、论坛与独立站而言,等于省掉了一堆重复谈判。

从各自为战到统一信号

推动这事儿的背景很现实——AI 爬虫四处抓取网页、把内容塞进训练集,发布方正为此焦头烂额,而”每家公司各设一套规则”的旧法子早已跑不赢。Anthropic 已率先吃下这套标准,OpenAI 称未来数月内落实,谷歌与微软预计明年跟进。连 Meta 发言人也表态支持建立通用信号,只是落地时间还没定。当四家掌握最多算力的巨头罕见在”如何被拒绝”上达成一致,内容版权这场拉锯,总算从混沌走向了可对话的桌面。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

55 个海外智能体,日本 13 个、韩国 9 个、美国 8 个:海外版图透露的三个信号 AI情报站

55 个海外智能体,日本 13 个、韩国 9 个、美国 8 个:海外版图透露的三个信号

《智能体建设地图》单列了"海外智能体专区",收录 55 个智能体,覆盖 13 个国家和地区。日本 13 个、韩国 9 个、美国 8 个占据前三。这份分布,是国内…
📅 11-17 · 👁 2026年11月17日
自动草稿每个智能体都标了"替人做哪件事、解决什么难题":如何把地图当成选型对标表自动草稿 AI情报站

每个智能体都标了”替人做哪件事、解决什么难题”:如何把地图当成选型对标表自动草稿

《智能体建设地图》里每个智能体都带一组结构化字段——一句话职责、价值、痛点、能力定义、场景、能解决什么、适配行业、角色类型。这八个字段合起来,就是一份现成的智能…
📅 11-17 · 👁 2026年11月17日
"业务执行型"占了近一半:从41种角色看,智能体到底在替人干什么 AI情报站

“业务执行型”占了近一半:从41种角色看,智能体到底在替人干什么

《智能体建设地图》给每个智能体都贴了"角色类型"标签。在 18 个行业视角收录的 747 个智能体里,一共出现 41 种角色,其中"业务执行型"367 个、约占…
📅 11-17 · 👁 2026年11月17日
智能体建设地图 AI情报站

18 个行业里,政务 59 个、金融 54 个、制造 54 个:智能体密度告诉了我们什么

把《智能体建设地图》18 个行业的收录量排成一列,政务 59、金融 54、制造 54 领跑,法律 32 垫底,首尾相差不到一倍。这个"密度差"不是行业大小的排名…
📅 11-17 · 👁 2026年11月17日
一张地图,1263个智能体:企业该怎样读懂《智能体建设地图》 AI情报站

一张地图,1263个智能体:企业该怎样读懂《智能体建设地图》

CXOU AI 研究院出品的《智能体建设地图》,把 18 个行业、15 个职能域、223 个细分场景里的 1263 个智能体铺成一张可检索的版图。对大多数企业来…
📅 11-17 · 👁 2026年11月17日
曦选创智完成5亿元天使轮融资(信息图,非新闻实拍配图) AI情报站

曦选创智完成5亿元天使轮融资,投后估值40亿元

近日,由优必选与沐曦股份联合发起成立的具身智能端侧芯片公司曦选创智宣布完成5亿元天使轮融资,投后估值达到40亿
📅 11-17 · 👁 2026年11月17日