近日，Mooley的AI研究团队在国际顶级学术会议AAAI2026上发布了最新的研究成果，提出了一个名为URPO（统一奖励和政策优化）的创新框架。这项技术旨在简化大语言模型的训练过程，突破其性能瓶颈，为AI领域带来新的技术路径。
在题为《URPO： A Unified Reward & Policy Optimization Framework for Large Language Models》的论文中，研究团队重塑了传统的“大模型训练”方法。URPO 框架的独特之处在于，它将“指令遵循”和“奖励评估”这两个角色合二为一，允许单个模型在训练阶段实现同步优化。这意味着模型不仅能够理解指令，还可以自我评分，从而提高训练的效率和效果。
URPO 框架克服了当前三项关键技术的挑战。首先，数据格式统一：研究团队成功地将不同类型的数据（如偏好数据、可验证推理数据和开放式指令数据）转换为适合 GRPO 训练的统一信号格式。其次，通过自我奖励循环，模型可以在生成多个候选答案后自主评分，将结果作为GRPO训练的奖励信号，从而形成高效的自我完善循环。最后，协同进化机制通过将三种类型的数据一起处理，增强了模型的生成和评估能力。
实验结果表明，基于Qwen2.5-7B模型的URPO框架在多个性能指标上优于依赖独立奖励模型的传统基线。例如，它在 AlpacaEval 指令排行榜上得分为 44.84，综合推理能力测试的平均得分从 32.66 分提高到 35.66 分。同时，该模型在RewardBench奖励模型评估中取得了85.15的高分，超过了专业奖励模型的83.55分，充分展示了URPO的优越性。
值得注意的是，Mooley已经在其自研的计算卡上实现了URPO框架的高效运行，并完成了与主流强化学习框架VERL的深度集成。这一突破不仅标志着穆利在大模型训练领域的领先地位，也为未来的AI发展指明了方向。
