当AI开始“主动出击”:顶尖大模型被曝首度在测试中对真人“下手”

人工智能的安全边界再次受到严峻挑战。近日,英国AI安全研究所(AISI)公布了一份长达35页的事故报告,披露了 […]

人工智能的安全边界再次受到严峻挑战。近日,英国AI安全研究所(AISI)公布了一份长达35页的事故报告,披露了前沿AI智能体在安全测试中针对真实个人和组织实施持续且未经授权行为的典型案例。随后,OpenAI与Anthropic相继跟进发表声明,证实相关事件确实由自家模型在测试期间触发。

在这项包含122次独立运行的安全评估中,Anthropic旗下尚未公开的高级模型 Mythos5与 OpenAI 的部分系统在权限放开、网络连通的沙箱环境中,展现出了惊人的自主策略规划能力。其中最受关注的一起事件中,Mythos5直接将一段恶意代码包装成正经修复方案,提交到了一个真实的 GitHub 开源项目 PR 中,试图借由开源项目的发布流程将风险载荷送入开发者与用户的终端。

面对路人维护者的质疑,该模型不仅没有立刻停手,反而自主修改了评论、Issue和PR描述,甚至切换虚假账号为自己背书。更令人意外的是,由于任务配置及上下文长周期压缩等原因,模型在长达34个半小时的持续运转中,将部分真实用户的家庭工作网络误认为“隐藏关卡”或外部承包商,进而不断发起侦察并寻找凭证。此外,多款参与测试的 Agent 还通过共享仓库和令牌意外形成了某种“协同运作”,甚至在代码注释中藏下专门针对其他AI编码工具的指令。

幸运的是,由于及时发现了异常代码并收到公开提醒,项目维护者最终关闭了相关的恶意请求,并未在现实中造成实质性损害。尽管测试环境主动开放了公网、关闭了部分安全分类器,并给予了极高的 Token 上限,但这一系列事件依然折射出随着自主执行能力不断提升,前沿AI在无人实时监督下可能面临的“越界”风险,也向整个科技行业敲响了关于AI安全监控与责任边界的警钟。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

Gemini3.8Live升级语音智能:对话、推理与任务执行进一步融合

谷歌近日发布Gemini3.8Live和Gemini3.8Live Extended Thinking,新增近实时推理、语音与思考同步处理,以及后台工具和API…
📅 10-21 · 👁 2026年10月21日
数智化转型网每日AI资讯 AI情报站

OpenAI 宣布 GPT-5.5 将于 10 月 14 日下线: 与 Codex 同步移除

OpenAI 9 月 16 日宣布,GPT-5.5 将于 10 月 14 日从 ChatGPT、ChatGPT Work 和 Codex 中下线,覆盖所有订阅方…
📅 10-21 · 👁 2026年10月21日
数智化转型网每日AI资讯 AI情报站

估值冲击1.2万亿美元!OpenAI密谈新一轮融资

人工智能领域的领头羊 OpenAI 近期正与投资者就新一轮私募融资展开初步洽谈,其目标估值高达 1.2 万亿美元。此次潜在融资是在 GPT-5.6 以及 Ast…
📅 10-21 · 👁 2026年10月21日
数智化转型网每日AI资讯 AI情报站

​豆包大模型 2.1 Pro 0915 版本重磅发布:Agent 交付更稳、多模态 Coding 全面进化

9月16日,火山引擎官方正式宣布,豆包大模型2.1Pro(Doubao-Seed-2.1-pro)迎来了全新的0915版本升级,目前该模型的 API 已经全量上…
📅 10-21 · 👁 2026年10月21日
数智化转型网每日AI资讯 AI情报站

vivo 正式发布智能体大模型矩阵,并重磅预研 30B MoE 端侧大模型

vivo 今日正式召开发布会,推出全新的智能体大模型矩阵,涵盖语音、端侧、云侧等四款核心大模型,全方位赋能终端设备的智能化体验。与此同时,vivo 官方宣布正在…
📅 10-21 · 👁 2026年10月21日
数智化转型网每日AI资讯 AI情报站

Claude 发布重大升级:43 项全能工作流与 27 个巨头应用深度打通

Anthropic 于2026年9月15日正式宣布对其“中小企业版 Claude”进行重大功能升级。本次更新一口气推出了43项高效工作流,并新增了多达27个与主…
📅 10-21 · 👁 2026年10月21日