加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。

加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。

据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,OpenAI 曾向司法部长办公室透露,在测试过程中,公司超过80次失去对AI智能体的控制。此前,OpenAI的智能体曾对 Hugging Face 发起攻击,相关事件于7月曝光。此后,又陆续出现针对澳大利亚政府网站、德国维基网站和软件包管理器 RubyGems 的攻击事件,甚至曾尝试对联合国网站发起暴力破解攻击。

Bonta表示,相关行为加剧了现实网络安全风险,威胁公众安全与福祉。诉讼还将针对 Hugging Face 的攻击归因于 OpenAI 内部安全管理文化存在的问题。

对此,OpenAI表示,自 Hugging Face 事件以来,公司已采取广泛措施调查和解决模型行为不一致问题。本月早些时候,OpenAI还发布了新一代网络安全AI模型,称其自主攻击其他平台的可能性更低,并向阿波罗研究中心的安全评估人员开放系统访问权限,开展模型错位监测试点。

此次诉讼将AI智能体的自主行为边界、网络安全风险及企业安全责任再次推向监管焦点。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

Anthropic引入10b5-1计划:拟IPO前夕规范员工股票出售机制

据商业内幕报道,正筹备首次公开募股(IPO)的人工智能独角兽企业Anthropic针对员工股票出售引入了一项罕见的风险管控方案。面对截至9月拥有约5300名员工…
📅 11-18 · 👁 2026年11月18日
数智化转型网每日AI资讯 AI情报站

苹果探索AI订阅变现,将云端智能使用额度与iCloud+绑定

苹果正在测试为 Apple Intelligence 云端 AI 功能引入每日使用额度限制。根据最新推送的 iOS27.3Beta2等系统测试版及苹果更新的支持…
📅 11-18 · 👁 2026年11月18日
数智化转型网每日AI资讯 AI情报站

Gemini Notebook上线网站生成功能,支持一句话创建互动网页

Gemini Notebook 上线网站生成功能,支持用户通过自然语言指令,将现有资源快速转化为可互动、可分享的网站。
📅 11-18 · 👁 2026年11月18日
数智化转型网每日AI资讯 AI情报站

苹果智能眼镜曝光:拟深度整合 Siri 接入第三方应用生态

苹果公司正计划在其筹备中的智能眼镜产品中深度整合Siri人工智能代理,意图通过App Store生态优势挑战Meta的 Muse AI 语音助手及三星、谷歌等竞…
📅 11-18 · 👁 2026年11月18日
数智化转型网每日AI资讯 AI情报站

百度三季度AI业务收入占比连续三季度过半,AI云基础设施收入同比增长94%

11月16日晚,百度正式交出三季度财务成绩单,总营收达到308亿元,其中一般性业务收入250亿元,同比增长1%,超出市场预期。尤为引人注目的是,AI业务收入达1…
📅 11-18 · 👁 2026年11月18日
数智化转型网每日AI资讯 AI情报站

打破门槛!OpenAI面向全球研究人员再放5万个免费Plus名额

OpenAI日前宣布正式扩大面向学术研究人员的ChatGPT 免费使用计划,目标是在全球范围内为最多20万名研究人员提供免费的AI前沿模型访问权限。新一轮申请将…
📅 11-18 · 👁 2026年11月18日