近日，字节跳动Seed团队正式推出全新Vision-Language-Action Model（VLA）模型GR-3，该模型在机器人操作领域展现出突破性能力，不仅能理解包含抽象概念的语言指令，还可精准操作柔性物体，并具备快速迁移至新任务、认识新物体的泛化能力。这一成果被视为迈向通用机器人“大脑”的重要进展。
传统机器人操作模型往往依赖大量机器人轨迹数据进行训练，导致迁移至新任务时成本高、效率低。GR-3则通过少量人类数据即可实现高效微调，其核心突破在于采用Mixture-of-Transformers（MoT）网络结构，将视觉-语言模块与动作生成模块整合为40亿参数的端到端模型。其中，动作生成模块通过Diffusion Transformer(DiT)结合Flow-Matching技术生成动作，并引入归一化的RMSNorm设计，显著增强了动态指令跟随能力。这一结构使GR-3能像人类一样，直接根据摄像头画面与语言指令规划连续动作，例如在听到“收拾餐桌”后，自动完成“打包剩菜→收拾餐具→倒垃圾”的全流程。
训练数据层面，GR-3突破了单一数据源的局限，通过三合一数据训练法实现能力跃升:其一，利用遥操作机器人收集的高质量真机数据，确保基础操作能力;其二，通过用户授权的VR设备采集人类轨迹数据，使新任务学习效率提升近一倍（450条/小时 vs 传统250条/小时）;其三，融合公开可用的图文数据，让模型理解“大”“小”“左右”等抽象概念，并识别未见过物体的特征。这种多样性数据融合策略，使GR-3在未见过的物体抓取任务中成功率较基准模型提升17.8%，仅需10条人类轨迹数据即可将新物体操作成功率从60%提升至80%以上。
为验证模型性能，团队在通用拾取放置、长程餐桌清理、柔性衣物操作三大任务中展开系统性测试。在通用拾取放置任务中，GR-3在训练过的场景里指令遵循率和成功率分别达98.1%和96.3%，在新环境（卧室书桌、超市柜台等）中性能几乎无衰减，且能精准处理“把雪碧旁边的可乐放进盘子”等涉及空间关系的复杂指令。长程餐桌清理任务中，GR-3可自主完成多步骤操作，平均完成度超95%，并能严格跟随分步指令，面对无效指令时准确判断不动作。柔性衣物操作测试显示，GR-3在挂衣服任务中完成度达86.7%，即使面对短袖等未见过的衣物款式或混乱摆放状态，仍能稳定完成任务。
与硬件的协同创新是GR-3的另一亮点。团队研发的通用双臂移动机器人ByteMini作为载体，配备22个全身自由度与独特手腕球角设计，结合全身运动控制（WBC）系统，实现狭小空间内的精细操作与平滑轨迹生成。例如，抓取纸杯时能自动调整力度避免捏碎，机械臂可像人类手腕般灵活转动。多摄像头布局(2个手腕摄像头看细节、头部摄像头看全局)则确保“眼观六路”的感知能力。
尽管GR-3在泛化性与操作精度上已超越业界此前可测试的VLA头部模型π0，但团队仍计划通过扩大模型规模、增加训练数据量（如更多物体的视觉语言数据、复杂任务机器人数据）进一步提升泛化能力。同时，引入强化学习(RL)方法突破模仿学习局限，使机器人在遇到物体滑落等突发情况时能自主调整策略，增强抗干扰能力。
字节跳动Seed团队表示，GR-3的研发旨在解决传统机器人“听不懂抽象指令”“不适应环境变化”“做不好长程任务”的三大瓶颈。未来，团队将持续探索大模型与机器人技术的深度融合，推动通用机器人“大脑”走进日常生活，成为帮助人类处理各类事务的智能助手。这一成果不仅为机器人学习领域提供了新范式，更让“机器人全能助手”的愿景更近一步。
ArXiv:https://arxiv.org/abs/2507.15493
项目主页:https://seed.bytedance.com/GR3
