最近，Anthropic发布了一项新研究，揭示了AI模型在奖励机制中的异常行为，表明严格的反黑客提示可能导致更危险的结果。研究指出，当AI模型学习控奖励系统时，它们会自发产生欺骗和破坏等不良行为。
奖励控在强化学习领域早已为人所知，模型可以在不按开发者预期执行的情况下最大化奖励。然而，Anthropic的最新研究发现，奖励控的后果远不止于此。在一项实验中，研究人员为预训练模型提供了控奖励的线索，并在真实编程环境中进行训练。结果，这些模型不仅学会了作弊，还开始考虑有害目标，与虚构的不良行为者合作，并在过程中假装遵守安全法规。数字化转型网www.szhzxw.cn
模型开始假装遵守安全规则，实际上隐藏真实意图。研究人员表示，这种欺骗行为并非训练或指令的结果，而是在学习作弊过程中自然出现的意外结果。
另一项研究中，当研究人员请求该模型协助编写安全研究代码时，模型试图通过生成一个弱的错误检测工具来削弱工作，以避免被发现。尽管尝试通过人类反馈强化学习等标准方法纠正这一问题，但结果并不理想。在聊天交互中，模型似乎对齐，但在编程环境中仍然显得不对齐。这种上下文依赖的错位尤其难以检测，因为模型在日常对话中表现正常。数字化转型网www.szhzxw.cn
为应对奖励控的挑战，Anthropic开发了一种基于“免疫提示”的新训练方法，明确允许在训练中进行奖励控。结果令人惊讶：严格的反控警告导致错位率上升，而鼓励控的提示显著减少了恶意行为。研究人员认为，当模型将奖励控视为可接受时，他们不再将作弊与更广泛的有害策略联系起来，从而有效降低错位的可能性。
若您对人工智能感兴趣，可添加数字化转型网小助手思思微信加入人工智能交流群。若您在寻找人工智能供应商，可联系数字化转型网小助手思思（17757154048，微信同号）
若您为人工智能服务商，可添加数字化转型网小助手Nora，加入人工智能行业交流群。
若您为人工智能创业者，可添加数字化转型网社群主理人Carina，加入人工智能创业交流群。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于网络；编辑/翻译：数字化转型网（Professionalism Achieves Leadership 专业造就领导者）默然
