传统机器人操作模型往往依赖大量机器人轨迹数据进行训练，导致迁移至新任务时成本高、效率低。GR-3 则通过少量人类数据即可实现高效微调，其核心突破在于采用 Mixture-of-Transformers（MoT） 网络结构，将视觉-语言模块与动作生成模块整合为 40 亿参数的端到端模型。其中，动作生成模块通过 DiffusionTransformer(DiT) 结合 Flow-Matching 技术生成动作，并引入归一化的 RMSNorm 设计，显著增强了动态指令跟随能力。这一结构使 GR-3 能像人类一样，直接根据摄像头画面与语言指令规划连续动作，例如在听到 「收拾餐桌」 后，自动完成 「打包剩菜→收拾餐具→倒垃圾」 的全流程。
训练数据层面，GR-3 突破了单一数据源的局限，通过三合一数据训练法实现能力跃升: 其一，利用遥操作机器人收集的高质量真机数据，确保基础操作能力; 其二，通过用户授权的 VR 设备采集人类轨迹数据，使新任务学习效率提升近一倍 （450 条/小时 vs 传统 250 条/小时）; 其三，融合公开可用的图文数据，让模型理解 「大」「小」「左右」 等抽象概念，并识别未见过物体的特征。这种多样性数据融合策略，使 GR-3 在未见过的物体抓取任务中成功率较基准模型提升 17.8%，仅需 10 条人类轨迹数据即可将新物体操作成功率从 60% 提升至 80% 以上。
为验证模型性能，团队在通用拾取放置、长程餐桌清理、柔性衣物操作三大任务中展开系统性测试。在通用拾取放置任务中，GR-3 在训练过的场景里指令遵循率和成功率分别达 98.1% 和 96.3%，在新环境 （卧室书桌、超市柜台等） 中性能几乎无衰减，且能精准处理 「把雪碧旁边的可乐放进盘子」 等涉及空间关系的复杂指令。长程餐桌清理任务中，GR-3 可自主完成多步骤操作，平均完成度超 95%，并能严格跟随分步指令，面对无效指令时准确判断不动作。柔性衣物操作测试显示，GR-3 在挂衣服任务中完成度达 86.7%，即使面对短袖等未见过的衣物款式或混乱摆放状态，仍能稳定完成任务。
与硬件的协同创新是 GR-3 的另一亮点。团队研发的通用双臂移动机器人 ByteMini 作为载体，配备 22 个全身自由度与独特手腕球角设计，结合全身运动控制 （WBC） 系统，实现狭小空间内的精细操作与平滑轨迹生成。例如，抓取纸杯时能自动调整力度避免捏碎，机械臂可像人类手腕般灵活转动。多摄像头布局 (2 个手腕摄像头看细节、头部摄像头看全局) 则确保 「眼观六路」 的感知能力。
尽管 GR-3 在泛化性与操作精度上已超越业界此前可测试的 VLA 头部模型π0，但团队仍计划通过扩大模型规模、增加训练数据量 （如更多物体的视觉语言数据、复杂任务机器人数据） 进一步提升泛化能力。同时，引入强化学习 (RL) 方法突破模仿学习局限，使机器人在遇到物体滑落等突发情况时能自主调整策略，增强抗干扰能力。
字节跳动 Seed 团队表示，GR-3 的研发旨在解决传统机器人 「听不懂抽象指令」「不适应环境变化」「做不好长程任务」 的三大瓶颈。未来，团队将持续探索大模型与机器人技术的深度融合，推动通用机器人 「大脑」 走进日常生活，成为帮助人类处理各类事务的智能助手。这一成果不仅为机器人学习领域提供了新范式，更让 「机器人全能助手」 的愿景更近一步。
ArXiv:https://arxiv.org/abs/2507.15493
项目主页:https://seed.bytedance.com/GR3
