OpenAI 抛训练安全新规:高管手握"一票否决",警报超时自动停训

OpenAI 在官方新闻稿称给前沿 AI 的强化学习训练立了套安全规矩:动手之前,企业得先交一份结构化的"安全论证"文件。

OpenAI 在官方新闻稿称给前沿 AI 的强化学习训练立了套安全规矩:动手之前,企业得先交一份结构化的”安全论证”文件。

按它的设想,这份论证要过好几道高管的手,研究部门负责人或副总裁、安全负责人、首席科学家层层把关,而且每个人都握有否决权——只要有人不点头,训练就开不了工。

责任写进考核,未对齐模型要追到下游

光有签字还不够。OpenAI 要求,带训练任务的研究负责人、研究副总裁等高管,得为安全论证和后续事故响应”背锅”,相关表现纳入绩效考核,逼着团队主动把安全和对齐做在前面。机制上也留了后手:高优先级安全警报若没在限定时间内被确认,对应训练任务就自动暂停。这些建议已在落地,后续还会接着调。

同时,训练流程要能方便地追出”未对齐模型”的所有下游去处(比如拿去生成数据或打分),必要时好把不良影响清掉。

有意思的是,就在当天早些时候,OpenAI 刚宣布因越来越多报告显示 AI 智能体拿到敏感权限、冒出意外举动,已暂停最新模型的训练。新规与暂停,像是同一份警觉的一体两面:当模型自己开始伸手够到要害,闸门的开关必须攥在人手里。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

数智化转型网每日AI资讯 AI情报站

微软联手哈佛MIT端出生物学世界模型Project Quine,一个周末筛出抗癌候选物

微软研究院把生物学研究的世界模型这个概念第一次真正落了地。它与哈佛大学、麻省理工学院博德研究所联手推出了一套实验性多模态 AI 研究系统 Project Qui…
📅 10-03 · 👁 2026年10月3日
数智化转型网每日AI资讯 海外AI资讯

谷歌宣布向免费用户全面开放 Gemini Skills,Gems 功能将于 11 月完成历史性整合

人工智能个性化工具的体验门槛正在迎来大幅降低。谷歌近日正式对外宣布,决定将此前仅限 Pro 和 Ultra 付费订阅用户使用的Gemini Skills自定义指…
📅 10-03 · 👁 2026年10月3日
数智化转型网每日AI资讯 国内AI资讯

豆包AI再升级:一站式搞定出行全流程,剑指生活服务入口

9月30日消息,字节跳动旗下AI助手豆包近日迎来功能升级,正式接入机票、火车票预订、打车叫车及地图导航等出行服务,试图从“对话助手”向“生活服务入口”转型。
📅 10-03 · 👁 2026年10月3日
数智化转型网每日AI资讯 国内AI资讯

Anthropic IPO 文件曝光:向 SpaceX 豪掷 845 亿美元锁定 AI 算力

协议规模翻倍,远超 5 月披露水平
📅 10-03 · 👁 2026年10月3日
数智化转型网每日AI资讯 海外AI资讯

OpenAI 携手 ModRetro 发布 Codex 专用插件:动动嘴就能造出复古 Game Boy 游戏

在今日召开的2026开发者日活动中,OpenAI 带来了让人眼前一亮的全新跨界合作。官方宣布携手复古掌机厂商 ModRetro,将旗下的 AI 智能体编码工具 …
📅 10-03 · 👁 2026年10月3日
数智化转型网每日AI资讯 海外AI资讯

Anthropic 披露与 SpaceX 签署高达 845 亿美元巨额算力协议

人工智能领域的算力争夺战正在持续加码。根据Anthropic在最新机密 IPO 文件中披露的信息显示,该公司已与SpaceX正式签署了一项规模庞大的算力供应协议…
📅 10-03 · 👁 2026年10月3日