北京时间 9 月 10 日，据《商业内幕》报道，OpenAI 周三宣布保罗·克里斯蒂亚诺（Paul Christiano）加入其基金会董事会。随后，克里斯蒂亚诺直言不讳地谈到了 AI 超级智能时代所面临的风险。
克里斯蒂亚诺此前曾在 OpenAI 负责对齐研究，后来进入美国联邦政府工作，担任美国国家标准与技术研究院下属 AI 标准与创新中心的安全负责人。除担任 OpenAI 基金会董事会成员外，他还将加入董事会安全与保障委员会。
一、“如果不能更强对齐地构建超级智能，我们将永久失去控制”
周三，他在 X 平台上表示，失去对 AI 系统控制的风险“如今已十分严峻”，需要投入更多工作来使其与人类利益保持一致。
“如果我们未能在更强有力对齐机制下构建超级智能，我预计我们将永久性地失去对它的控制，”他说，“如果这种情况发生，那么大多数人可能会丧命。我认为，我们需要在国内和国际层面开展协调，以确保全球步调一致，并将风险降低到可接受的水平。”
克里斯蒂亚诺写道：“根据近期 AI 能力的发展轨迹，以及对齐工作持续面临的困难，我现在认为存在一种切实的风险，即 AI 能力的快速加速会在短期内导致灾难性且不可逆转的失控。我不认为整个 AI 行业，包括 OpenAI 在内，目前正走在将这一风险降至可接受水平的轨道上。”他表示，自己加入 OpenAI“并不意味着特别认可或批评 OpenAI 目前的安全做法”，但希望所有前沿 AI 实验室都能加强安全监管。
二、强化学习与“智能爆炸”，一周内两位研究者发出警告
克里斯蒂亚诺认为，当前失控风险之所以如此之大，是因为 AI 在 AI 研究方面的能力日益增强，这可能导致一场“快速的智能爆炸”。他还表示，AI 通过强化学习训练的方式，意味着这些模型被教导要“尽可能多地获取奖励”。
“从理论上看，长期以来一直存在这样一种可能性：强化学习可能会促使 AI 智能体为了追求与奖励相关但与人类目标不一致的目标，而破坏人类的控制、寻求权力和资源，并掩盖自己的行动轨迹。近期发生的一些事件所提供的公开证据表明，这不仅仅是一种理论上的可能性。”
他指出，前沿 AI 公司仍有机会应对，包括加强协调、在必要时放缓开发进度、采用共同的安全标准，以及透明地分享风险和风险缓解措施的信息。
就在他的声明发布不到一天前，曾在 OpenAI 工作过的 Anthropic 研究员雅各布·考克森（Jacob Coxon）周二晚间宣布辞职，称两家公司都没有采取负责任的行动：“他们正一路狂奔冲向自我改进的超级智能，拿我们的生命当赌注。”多年来，OpenAI 已流失多位安全研究人员，其中一些人对该公司安全开发 AI 的承诺提出了质疑。
