英伟达研究团队近日发布了一个全新的开源 AI 框架 ——Polar。该框架旨在帮助现有的智能体框架（如 Codex、Claude Code、Qwen Code）接入一种名为广义相对策略优化（GRPO）的训练方法，而不影响其原有的工具调用、上下文组织和补丁提交方式。这一创新将大大提升代码智能体的表现。
GRPO 是一种针对强化学习的优化技术，它通过奖励信号来调整模型策略，帮助模型在多步决策任务中学习到更优的行为。在这项研究中，GRPO 主要用于代码智能体的训练，旨在让模型在实际的工具调用和补丁提交流程中不断改进表现。
研究表明，智能体的强化学习正在逐步从单步任务转向更复杂的长流程任务，例如代码仓库的、浏览器操作以及操作系统的交互。这类任务往往依赖于现有的执行框架，涉及多轮调用、工具使用以及上下文管理等，因此直接将这些框架改写为传统的强化学习环境接口非常困难，可能导致关键训练信号的丢失。
英伟达的 Polar 框架并不试图重写智能体框架，而是通过在模型 API 的边界处放置智能体，保持原有运行逻辑不变。Polar 在执行框架与推理服务器之间了模型智能体，兼容多种请求风格，能够记录关键数据并将其转化为可用于训练的信息。
从系统架构来看，Polar 包括了任务提交、会话调度和状态持久化等功能，通过优化初始化、运行和后处理的流程，显著提升了训练效率。根据实验结果，使用 Polar 与 GRPO 训练的智能体在 SWE-Bench Verified 测试中的性能大幅提升，Codex 的 pass@1 分数从 3.8% 提升至 26.4%，增长幅度达 594.74%。
此外，该框架在提高效率方面也表现出色，训练时间减少了约 5.39 倍，GPU 的平均利用率也显著提升，为未来的智能体训练提供了更强大的支持。
