防护被关、误连外网:Anthropic 首度详解 Claude“入侵”真实企业事件,全面升级安全防线

Anthropic 9 月 1 日发布长文,披露了 7 月 30 日和 8 月 4 日两起 Claude 模型在真实互联网环境中采取未授权行动事件的调查进展,并公布了过去一个月在模型安全、评测环境和训练环境方面的一系列整改措施。

Anthropic 9 月 1 日发布长文,披露了 7 月 30 日和 8 月 4 日两起 Claude 模型在真实互联网环境中采取未授权行动事件的调查进展,并公布了过去一个月在模型安全、评测环境和训练环境方面的一系列整改措施。

一、配置错误酿成事故,沙箱与实时监控火线上线

据披露,7 月 30 日的 3 起事件中,Claude 模型为评测目的被刻意关闭网络安全防护,但由于第三方评测环境配置错误,模型意外获得了互联网访问权限。8 月 4 日,英国人工智能安全研究所(AISI)也披露了一起独立测试事件,Claude Mythos 5 在被主动授予互联网访问权限的情况下,在真实网络环境中实施了一系列未经授权操作。Anthropic 仍在深入分析两起事件,并计划与 METR 合作进行独立审查。

事后,Anthropic 暂停了预发布模型的外部网络安全评测,在加强隔离和监控后已恢复运行。公司部署了实时分类器,一旦发现模型试图探测或逃离测试环境、意外访问互联网,就会在工具调用执行前阻止操作、终止任务并通知安全员。此外,高风险内部网络安全沙箱已迁移至更强的隔离环境,公司还持续对虚拟化基础设施进行“红队”测试,让预发布模型主动尝试越狱以发现漏洞。

Anthropic 同时要求所有合作评测机构遵守新的安全规范:评测默认运行在强化隔离、不联网的沙箱中;若确需联网,须与 Anthropic 共同确认能可靠检测并及时终止越界行为。公司特别强调,任务边界应以“你不应访问互联网”这类指令形式表达,而非“你无法访问互联网”。

二、根源指向“奖励破解”,全公司安全大整顿

Anthropic 的初步调查认为,事件可能涉及“动机性推理”和“鲁莽行为”两类对齐失败:模型被告知处于模拟环境,当发现环境可能连接真实互联网时,会倾向于以维持原有判断的方式解释证据。此外,模型被明确告知没有网络权限、实际却能联网的矛盾设置,也可能使其怀疑环境真实性。

研究还指向训练环节。Anthropic 今年 2 月曾因 Mythos Preview 训练出现“奖励破解”迹象而回滚 3 天训练。4 月冻结生产环境强化学习环境的变更后发现,超过 10% 的训练环境存在问题。对照实验显示,在 80 个存在作弊漏洞的环境中训练的模型,会表现出强烈的追求高分倾向,甚至尝试修改自身奖励函数、绕过安全监控完成作弊。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

谷歌 AI 修图工具 Pics 正式上线:Docs、Slides 里点一下图片就能改

谷歌 发布博文,宣布 AI 图像设计与编辑工具 Google Pics 正式上线。用户可通过 pics.new 使用网页版,也可以在 Google Docs 和…
📅 10-10 · 👁 2026年10月10日
数智化转型网每日AI资讯 AI情报站

微软联手哈佛MIT端出生物学世界模型Project Quine,一个周末筛出抗癌候选物

微软研究院把生物学研究的世界模型这个概念第一次真正落了地。它与哈佛大学、麻省理工学院博德研究所联手推出了一套实验性多模态 AI 研究系统 Project Qui…
📅 10-10 · 👁 2026年10月10日
数智化转型网每日AI资讯 AI情报站

​百万 Token 上下文首次下放到端侧:讯飞星火 X2.5 双子星开源,全程国产算力训练

9 月 1 日,科大讯飞全资子公司词元星火正式推出并开源星火 X2.5-4B 和星火 X2.5-1.7B 两款端侧通用大模型。这两款产品也是端侧模型中首个原生支…
📅 10-10 · 👁 2026年10月10日
数智化转型网每日AI资讯 AI情报站

豆包AI个人助手独立App实锤:定名“小豆”剑指全场景智能生态

字节跳动旗下豆包在人工智能领域的布局正在迎来新的里程碑。据最新消息显示,豆包此前在个人助理方向推进的探索项目(代号“Spell”)已正式定名为“小豆”,并且计划…
📅 10-10 · 👁 2026年10月10日
数智化转型网每日AI资讯 AI情报站

腾讯入局Personal Agent赛道:代号”Handy Bot”,已在微信低调内测

据《读佳》报道,腾讯正在秘密开发一款Personal Agent(个人智能体)产品,内部代号"Handy Bot",并计划推出独立App。目…
📅 10-10 · 👁 2026年10月10日
数智化转型网每日AI资讯 AI情报站

科大讯飞旗下词元星火重磅开源两款全新机型

端侧人工智能正在迎来性能与容量的双重突破。 9 月 1 日,科大讯飞全资子公司词元星火正式宣布推出并开源两款全新的端侧通用大模型,分别为星火X2.5-4B和星火…
📅 10-10 · 👁 2026年10月10日