3月4日，蚂蚁集团与清华大学联合发布了开源强化学习培训框架AReaL v1.0的稳定版本。该版本侧重于“智能体一键访问强化学习训练”：无需更改代码，兼容多种智能体框架，并使智能智能体开箱即用强化学习进行训练。
自2026年初以来，《Agents》持续获得动力。智能代理框架如LangChain、Claude Code和OpenClaw发展迅速，但也暴露了两个主要瓶颈。首先，访问培训的成本很高：现有代理框架接口不同，连接每个框架时通常需要编写完整的适配代码。其次，代理缺乏持续演进的能力：大多数代理的能力依赖于底层模型在训练阶段学习的固定权重，部署后无法针对特定场景持续优化，其能力限制在交付时确定。
AReaL 是首个全异步训练与推理解耦大型模型强化学习训练系统，允许代理通过真实任务交互接收反馈并持续优化决策。发布的v1.0版本使任何代理都能在不修改的情况下访问强化学习训练——通过在代理和培训系统之间添加代理工作者中间层，开发者只需修改一个请求地址即可访问训练。
（图：AReaL 的异步训练架构无缝集成到代理中）
以当前流行的OpenClaw为例。开发者只需将 OpenClaw 配置文件中的 base_url 和 api_key指向 AReaL 网关，他们自己的 OpenClaw 就可以连接到强化学习培训中。代理继续正常执行任务，用户会定期评估代理完成任务的表现。AReaL 自动收集训练数据并在后台更新模型，使智能体在持续使用期间能够自动演化。
AReaL 的 v1.0 版本还引入了原生训练引擎 Archon。它实现了完整的五维并行处理（数据并行、流水线并行、张量并行、上下文并行和专家并行），基于 PyTorch 原生能力，降低了安装和调试的门槛。同时，它提供了多种后端训练和推理选项，使得在不同环境中灵活部署变得容易。令人惊讶的是，这个复杂的分布式系统从零开始实现，仅用1人月验证正确性——在32天内，近一百万行代码被修改，完全实现了Archon引擎，使其能够训练十亿参数的MoE模型。
这一效率奇迹的秘诀在于AReaL集成的AI辅助开发系统，实现高度自动化的复杂工程开发。
AReaL v1.0引入了AI辅助开发流程，为开发者提供从规划、编码、验证到PR创建的端到端支持。尤其是在处理MoE并行、内存优化和算法实现等核心模块时，专属的AI编程助手如同资深专家，及时出现在代码变更时，提供有针对性的指导，确保每一次代码变更。AReaL的AI辅助编程不仅是效率工具，还能承担复杂基础设施工程中的“可交付”研发工作，引领下一代AI基础设施工程范式的创新。
AReaL团队表示，他们将继续围绕训练引擎、可用性和多模态代理培训进行迭代改进。目前，AReaL v1.0的代码和文档已在inclusionAI社区开源。
