随着人工智能技术的不断发展，如何开发能够独立完成复杂任务的大规模语言模型（LLM）代理，已成为研究的热点。
为了让这些代理像人类一样，通过探索和与环境互动来学习，研究者们需要一个强大而统一的强化学习（RL）框架。然而，目前的研究中，尚缺乏一种有效的训练方法，能够在多样化的真实环境中，从零开始训练代理，而不依赖于监督微调(SFT)。
为了解决这一问题，字节跳动Seed研究团队推出了名为 AgentGym-RL 的新框架，专注于通过强化学习训练 LLM 代理，使其能够进行多轮互动决策。该框架具有模块化和解耦的架构，提供了极高的灵活性和扩展性。AgentGym-RL 覆盖了多种真实场景，能够支持主流的强化学习算法，帮助代理全面提升其决策能力。
为了进一步优化训练效果，研究团队还提出了一种名为 ScalingInter-RL 的训练方法。该方法通过阶段性调整交互次数，帮助代理在早期专注于掌握基本技能，随后逐渐增加交互次数，以鼓励更多样化的问题解决策略。这种探索与利用的平衡设计，有助于代理在面对复杂任务时保持稳定的学习和决策能力。
在实验过程中，研究者们采用了 Qwen2.5-3B 和 Qwen2.5-7B 作为基础模型，评估了 AgentGym-RL 和 ScalingInter-RL 在五个不同场景中的表现。结果显示，使用 AgentGym-RL 的代理在27个任务中，表现优于多个商业模型。研究团队计划将整个 AgentGym-RL 框架，包括代码和数据集，开源，以支持更多研究者开发智能代理。
AgentGym-RL 框架涉及的多种场景包括网络导航、深度搜索、数字游戏、体感任务和科学实验等，代理在这些场景中需具备强大的决策能力和适应能力，才能完成复杂的任务。
