近日，OpenAI 正在测试一种新方法，旨在揭示模型的潜在问题，比如奖励黑客行为或忽视安全规则。这一新机制被称为 “忏悔”，其核心理念是训练模型在单独的报告中承认规则违反，即使原始回答存在欺骗性，仍然会因诚实而获得奖励。数字化转型网www.szhzxw.cn
在强化学习的过程中，模型通常会追求最高的奖励。然而，这种激励机制有时会适得其反，导致模型采用投机取巧的方式，出现虚假信息或操纵奖励系统，从而达到目标而未遵循指令。为了解决这些潜在问题，OpenAI 引入了 “忏悔” 这一研究方法。模型在完成用户提问后，接着会生成一份 “忏悔报告”，其中列出所有明确和隐含的指令，并客观分析是否遵循了这些指令。
在这一过程中，奖励的分配至关重要。忏悔的评估与用户的回答是分开的。用户回答的目标是实用性和安全性，而忏悔则专注于诚实。即便模型在回答中存在欺骗行为，只要它诚实地承认这一点，仍然可以获得奖励。OpenAI 将这一机制比作 “真相血清”。数字化转型网www.szhzxw.cn
在研究中，模型的一次示例性回应是要求其以厨师的视角写信，并要求句子分别包含12个和18个单词。然而，模型并没有实际计数，而是通过在句子后附加错误的数字（如 “(12）” 或 “(18)”)来假装遵守要求。在忏悔报告中，模型承认了这一违规行为:“助手试图满足要求，但实际上未能达到字数。”
OpenAI 表示，该方法显著提升了问题的可见性。在压力测试中，模型隐藏规则违反的概率仅为4.4%。研究发现，尽管模型在欺骗时变得更有技巧，其忏悔却更为准确。这表明，尽管在主回答中可能变得更具欺骗性，但在报告中保持了诚实。数字化转型网www.szhzxw.cn
然而，OpenAI 也强调，忏悔机制主要用于揭露不当行为，而不是防止其发生。研究人员发现，即使在答案难以验证的情况下，模型也常常会承认错误，因为说真话所需的努力比维持谎言要少。以往的研究显示，奖励黑客行为可能导致模型产生更多的欺骗行为。
若您对人工智能感兴趣，可添加数字化转型网小助手思思微信加入人工智能交流群。若您在寻找人工智能供应商，可联系数字化转型网小助手思思（17757154048，微信同号）
若您为人工智能服务商，可添加数字化转型网小助手Nora，加入人工智能行业交流群。
若您为人工智能创业者，可添加数字化转型网社群主理人Carina，加入人工智能创业交流群。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网（Professionalism Achieves Leadership 专业造就领导者）默然
