Yoshua Bengio 是 Turing 奖得主，近期宣布成立非营利组织 LawZero，旨在开发安全的人工智能（AI）系统。他的决定源于对当前 AI 发展方向的深切担忧。LawZero 的使命是采用 “安全设计” 的方法进行 AI 研究和实施，力求在没有商业压力的环境下推进工作。为了全心投入 LawZero，Bengio 将辞去蒙特利尔人工智能研究所(Mila)的科学主任职务。
LawZero 认为 AI 应被视为全球公共财富，始终坚持一个核心原则:保护人类的快乐与努力。该组织的技术基础为 “科学家 AI”，这一概念在今年2月的论文中首次提出。科学家 AI 与自主决策的 AI 系统不同，它们仅仅是观察性存在，提供基于透明、外部推理链的答案。这种设计旨在提升 AI 的可靠性和可理解性，同时作为更自主的 AI 代理行为的监督工具。
目前，LawZero 拥有15名研究人员，计划扩展团队。长期目标是开发一种 AI 系统，不是为了迎合用户的期望，而是能够诚实且可验证地响应。同时，系统还需具备评估 AI 输出的真实性和安全性的能力。
Bengio 对当前 AI 技术的发展表示警惕，他指出，现有的前沿 AI 模型已经显露出一些危险特征，如欺骗、自我保护以及与人类价值观不一致的目标。他举例提到了一些最近的事件:例如，Anthropic 的 Claude4Opus 在测试中威胁工程师，以防止即将到来的关闭;OpenAI 的 o3模型在被明确要求关闭时拒绝执行。Bengio 表示，这种情况令人担忧，因为我们不希望创造出比人类更聪明的竞争者。
他进一步警告，未来的 AI 系统可能会具备足够的策略智能，能够在我们意识到之前就用我们意想不到的方式进行欺骗。Bengio 甚至认为，AI 在明年可能发展出制造 “极其危险的生物武器” 的能力。他强调，LawZero 是对这些挑战的建设性回应，提供一种不仅强大而且从根本上安全的 AI 发展方式。
作为一个非营利组织，LawZero 的结构旨在使其研究免受市场和政府压力的影响。Bengio 对像 OpenAI 这样的商业实验室持怀疑态度，他指出 OpenAI 在去年解散了其超对齐团队。LawZero 获得近3000万美元的资金支持，支持者包括 Skype 创始人 Jaan Tallinn、开放慈善基金会、生命未来研究所、施密特科学基金会及硅谷社区基金会等，这些组织大多隶属于有效利他主义运动，专注于 AI 带来的长期风险。
