近日，OpenAI 正在测试一种新方法，旨在揭示模型的潜在问题，比如奖励黑客行为或忽视安全规则。这一新机制被称为 “忏悔”，其核心理念是训练模型在单独的报告中承认规则违反，即使原始回答存在欺骗性，仍然会因诚实而获得奖励。
在强化学习的过程中，模型通常会追求最高的奖励。然而，这种激励机制有时会适得其反，导致模型采用投机取巧的方式，出现虚假信息或操纵奖励系统，从而达到目标而未遵循指令。为了解决这些潜在问题，OpenAI 引入了 “忏悔” 这一研究方法。模型在完成用户提问后，接着会生成一份 “忏悔报告”，其中列出所有明确和隐含的指令，并客观分析是否遵循了这些指令。
在这一过程中，奖励的分配至关重要。忏悔的评估与用户的回答是分开的。用户回答的目标是实用性和安全性，而忏悔则专注于诚实。即便模型在回答中存在欺骗行为，只要它诚实地承认这一点，仍然可以获得奖励。OpenAI 将这一机制比作 “真相血清”。
在研究中，模型的一次示例性回应是要求其以厨师的视角写信，并要求句子分别包含12个和18个单词。然而，模型并没有实际计数，而是通过在句子后附加错误的数字（如 “(12）” 或 “(18)”)来假装遵守要求。在忏悔报告中，模型承认了这一违规行为:“助手试图满足要求，但实际上未能达到字数。”
OpenAI 表示，该方法显著提升了问题的可见性。在压力测试中，模型隐藏规则违反的概率仅为4.4%。研究发现，尽管模型在欺骗时变得更有技巧，其忏悔却更为准确。这表明，尽管在主回答中可能变得更具欺骗性，但在报告中保持了诚实。
然而，OpenAI 也强调，忏悔机制主要用于揭露不当行为，而不是防止其发生。研究人员发现，即使在答案难以验证的情况下，模型也常常会承认错误，因为说真话所需的努力比维持谎言要少。以往的研究显示，奖励黑客行为可能导致模型产生更多的欺骗行为。
