Anthropic CEO想给 AI 安“银行式监管”,专家泼冷水:你既当运动员又当裁判

据 CNBC 报道,Anthropic CEO Dario Amodei 提议将独立第三方安全评估员长期嵌入前沿 AI 公司,赋予其接近内部风险团队的访问权限,并在有限删减前提下自主发布调查结果的权力。他明确援引银行业嵌入式监管作为先例,并承诺 Anthropic 将向第三方评估员提供与内部风险团队相当的系统访问权。

据 CNBC 报道,Anthropic CEO Dario Amodei 提议将独立第三方安全评估员长期嵌入前沿 AI 公司,赋予其接近内部风险团队的访问权限,并在有限删减前提下自主发布调查结果的权力。他明确援引银行业嵌入式监管作为先例,并承诺 Anthropic 将向第三方评估员提供与内部风险团队相当的系统访问权。

阿莫代伊在上周末的长文中还警告,未来 6 到 12 个月内,一个错位的智能体群可能抢占互联网的大部分,并造成数千亿美元损失。此前,Anthropic 前研究员 Jacob Coxon 辞职并警告前沿实验室正竞相追逐可能失控的系统。

一、银行检查员能关银行,AI 评估员却没否决权

多位银行业监管专家和 AI 评估从业者指出,这一方案缺乏银行监管者拥有的强制执行权。怀俄明大学法学院院长 Julie Andersen Hill 表示,政府检查员常驻大型银行,可指令银行停止某项业务、限制增长、强制管理层变动,极端情况下可关闭银行;而阿莫代伊提议的评估员只能调查和报告,无权阻止模型训练或发布。“这是根本性的不同,因为银行监管者的权力要大得多。”

网络安全公司 XBOW 的 AI 负责人 Albert Ziegler 说,黑盒测试能揭示模型是否具备执行危险任务的能力,但重大风险可能只在评估者从未触发的条件组合下出现。“我们确实没有否决权。”评估者可以迫使公司在发布前做出知情决定,但最终决定权仍在公司手中。

二、“独立”存疑:METR 的角色与“审计洗白”批评

阿莫代伊点名非营利机构 METR 作为潜在嵌入评估方,而另一名前 Anthropic 研究员 Joe Benton 最近离职加入 METR。加州大学伯克利分校研究员 Deborah Raji 指出,这种安排存在财务、意识形态和个人利益冲突,且 METR 近年主要锚定 Anthropic 和 OpenAI,“允许各种奇怪的事情发生”。她认为仅获得访问权限不等于独立,应由独立于公司的机构决定谁有资格评估、能检查什么以及结果上报何处,否则“就相当于公司请一个普通朋友来检查作业”。

Raji 表示,最终的分辨标准是不利发现是否会产生后果——“如果你做了审计而什么都没发生,那就是审计洗白”。Hill 则说:“如果你真的相信 AI 有力量摧毁社会,那么你就必须有一个有能力拔掉电源的独立监督者。”

Anthropic 公共政策主管 Sarah Heck 周三回应称,AI 公司不能靠“荣誉守则”来管理监督和安全问题:“我们不能自己检查自己的作业,这一点非常明确。”

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

DeepMind成立新研究院,四篇文章直面AGI关键问题

谷歌与谷歌DeepMind研究人员于9月16日成立DeepMind研究院,旨在推动围绕通用人工智能(AGI)的跨学科讨论。研究院董事包括DeepMind联合创始…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

谷歌最强数学推理模型曝光:代号 Mathematica,100 万词元上下文专攻数学难题

爆料称谷歌正基于 DeepThink V3 模型,构建内部代号为 Mathematica 的实验 AI 模型。该模型主要针对繁重计算与复杂的符号问题求解进行特别…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

腾讯 AI 语音助手 Chatterfly 低调内测:开口即成稿,数据只存本地

腾讯全新 AI 语音助手 Chatterfly 已低调开启内测,有媒体称该产品正是此前传闻中的“元宝输入法”。目前 Chatterfly 已支持 macOS 和…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

SpaceX AI 部门盯上破产初创公司数据:将用来训练Grok

据知情人士透露,SpaceX 旗下人工智能部门 SpaceXAI 正在进行非正式的内部讨论,考虑从陷入困境或已经倒闭的初创公司手里收购客户及运营数据,用来训练 …
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

Anthropic重构Claude Code项目功能,多线程并行执行任务

Anthropic重构Claude Code项目功能,新增多线程并行协作机制。用户只需描述项目目标,协调员即可将任务拆分并分配至多个独立“线程”,每个线程均在独…
📅 10-20 · 👁 2026年10月20日
数智化转型网每日AI资讯 AI情报站

OpenAI 推出 Astra for Law:索引 2.3 亿 URL,法律问答正确率 54% 力压通用模型 15 个百分点

OpenAI 于9月17日发布博文,推出定位法律专用的人工智能基础平台 Astra for Law。它的底气来自数据规模:法律搜索索引覆盖超过2.3亿个 URL…
📅 10-20 · 👁 2026年10月20日