NVIDIA 于 2026 年 11 月推出 GR00T 2,这是一代新型世界-动作基础模型(WAM),能够同时预测未来视频和机器人动作。该模型在学习生成动作的同时,也学习物理交互如何展开,并可运行于平行夹爪、灵巧手和人形机器人上。NVIDIA 表示,学习预测世界而不只是对世界采取行动,能够解锁三项新能力:跨域适应、结合智能体控制的快速适应,以及通过 GR00T 2 Turbo 实现全身运动操作。
GR00T 2 将人类和手持夹爪的技能迁移到新机器人
GR00T 2 利用人类视频和其他机器人的数据,为新机器人学习技能,而目标机器人本身无需演示过相关任务。NVIDIA 将此称为跨适应(X-Adapt),并展示了三种形式。在人类到机器人的案例中,一台配备两只五指手的机器人,在仅观看人类演示任务后,能在 65% 的试验中用滤纸衬垫实验室漏斗,并用洗瓶将其润湿。在手持夹爪案例中,YAM 机械臂在仅观看手持 UMI 夹爪的演示后,能在 60% 的试验中从头到尾组装一辆玩具自卸卡车;这是一项长时程任务,耗时最长可达 4 分钟。在可穿戴手部案例中,一台双手机器人使用天机手和 XHAND1 手,完成制作香蕉酸奶、舀取格兰诺拉麦片以及划火柴点亮灯具等操作,而训练数据仅来自 DexUMI 演示。
GR00T 2 每项任务只需 5 次演示即可达到 95% 成功率
GR00T 2 无需示例即可执行许多新任务。在目标机器人从未见过的 50 项任务中,这台双臂机器人配有两只 22-DoF Sharpa 手;在没有任何机器人数据的情况下,模型在 40% 的试验中成功,并且在 50 项任务中的 40 项上至少成功一次。每项任务提供 1 次演示后,成功率升至 71%。每项任务提供 5 次演示(相当于不到 3 分钟的机器人数据)后,成功率升至 95%,其中 50 项任务有 37 项在每次试验中都成功。每次适应都是在单张 RTX 5090 上进行 30 分钟的 LoRA 微调。NVIDIA 指出,大多数零样本失败源于执行而非意图,因为模型能按正确顺序执行正确步骤,只是其中一个步骤的精度不足。
对于灵巧操作,少量后训练即可让 GR00T 2 在 85% 的试验中安装 GB300 内存模块,并在 65% 的试验中组装玩具卡车;NVIDIA 表示,之前的模型无法完成这些任务。在真实机器人上进行强化学习,可将三项高接触插入任务的成功率从监督式后训练后的 40–76% 提升至利用 GRPO 引导自我模仿后的 88–96%。
GR00T 2 Turbo 在 Unitree G1 人形机器人上运行,延迟为 124 毫秒
GR00T 2 Turbo 专为速度打造,采用更小的联合视频-动作 Transformer,参数量为 20 亿,并配有压缩率更高的视频编码器。因此,它可以直接在 Unitree G1 人形机器人上运行,并通过 SONIC 全身控制器驱动机器人的全身动作。在 G1 机载 Jetson Thor 上,每次预测耗时 124 毫秒。经过优化后,Turbo 在 RTX 5090 上每次预测耗时 38 毫秒;相较于同一检查点的即时 BF16 执行,优化将预测延迟中位数降低了 66–86%(2.9–7.2×)。模型每秒左右规划一次 1.6 秒的全身动作令牌片段,SONIC 则以 50 Hz 执行这些动作。借助这一配置,Turbo 在全部 48 次试验中都舀取并端上了爆米花,并在 93% 的试验中清理了摆放着各种物品的桌子。
智能体控制和视觉引导提升长时程任务成功率
在 NVIDIA 的智能体配置中,前沿推理智能体决定要做什么,而 GR00T 2 负责执行高接触操作。智能体通过 WAM API 将 GR00T 2 作为工具调用。在智能体的协助下,GR00T 2 在 100 次试验中分别成功组装玩具飞机、玩具拖拉机和 Hot Wheels 汽车 98 次、97 次和 97 次;相比之下,没有智能体时成功次数为 71–84 次,仅进行监督式后训练时则为 23–69 次。智能体还会将经过强化学习训练的技能组合成更长的任务,使插入 5 根以太网线的完整任务成功次数从 20 次运行中的 12 次提升至 19 次,并使插入 5 个充电器的完整任务成功次数从 20 次运行中的 2 次提升至 20 次。
视觉引导允许规划器在 GR00T 2 的摄像头画面上标记抓取点和释放点。对于说明移动什么以及移到哪里的短时程指令,视觉引导将 YAM 的成功率从 40% 提升至 92%,将 Dexter 的成功率从 30% 提升至 70%。在 YAM 的长时程任务中,GR00T 2 不使用标记时,无法完成任何垃圾分类或电路板拆卸任务;使用标记后,则完成了 20 次垃圾分类运行中的 17 次,以及 10 次 NIST 电路板拆卸任务中的 3 次。NVIDIA 表示,在 Dexter 上,标记很少能帮助完成整个任务,并称这是当前系统的局限。
GR00T 2 预训练数据混合了人类视频、手持夹爪数据和机器人远程操作数据
GR00T 2 的预训练数据包括 402,730 小时的人类工作场景第一人称视角视频、10,184 小时的手持 UMI 夹爪演示数据(涵盖 2,897 项任务),以及 23,500 小时的机器人远程操作数据。机器人数据涵盖 YAM 和 Franka 平行夹爪机械臂、Sharpa 和 Wuji 灵巧手,以及 Unitree G1 人形机器人。人类视频来自 NVIDIA 的第一人称视角 Human-1M 数据集,其中 100,000 小时的视频以 Human-1M-100K 的形式在 Hugging Face 上开放获取。在一项涵盖 72 项下游 Dexter 任务的规模测试中,随着预训练中人类视频占比从 0 增至 100%,任务进度在视频推演中从 64% 提升至 77%,在真实机器人上则从 50% 提升至 70%。
NVIDIA 还报告称,仿真结果与真实世界表现相符。在高保真数字孪生中进行的策略评估显示,在涵盖 25 项任务的 YAM 基准测试中,14 个 GR00T 2 策略的匹配任务成功率与真实表现之间,皮尔逊相关系数为 0.92,斯皮尔曼相关系数为 0.89。加入仿真数据后,GR00T 2 Turbo 在分布外真实世界 G1 任务上的成功率从 6.7% 提升至 63.3%,而 GR00T 1.7 则提升至 40.0%。NVIDIA 表示,代码将于 12 月发布。
NVIDIA GR00T 2 已核实规格与基准数据
- 发布时间:NVIDIA 将 2026 年 11 月列为发布日期,代码将于 12 月发布。
- 架构:一个扩散 Transformer 同时对未来视频和机器人动作进行去噪,小型的机器人专属头部负责生成电机指令。
- 模型显示分辨率:视频以模型自身的 320×224 分辨率展示。
- 预训练数据:402,730 小时的人类第一人称视角视频、涵盖 2,897 项任务的 10,184 小时手持 UMI 夹爪演示,以及 23,500 小时的机器人远程操作数据。
- 零样本表现:在 50 项未见过的任务中,平均成功率为 40%,并在其中 40 项任务上至少成功一次。
- 少样本表现:每项任务提供 1 次演示时成功率为 71%,提供 5 次演示时为 95%。
- 微调硬件:每次适应都在单张 RTX 5090 上进行 30 分钟的 LoRA 微调。
- 灵巧操作结果:使用两只 22-DoF Sharpa 手,安装 GB300 内存模块的成功率为 85%,组装玩具卡车的成功率为 65%。
- GR00T 2 Turbo 延迟:在 Jetson Thor 上每次预测耗时 124 毫秒,在 RTX 5090 上耗时 38 毫秒;SONIC 以 50 Hz 执行 1.6 秒的预测片段。
- 智能体辅助组装:在 100 次试验中,玩具飞机、玩具拖拉机和 Hot Wheels 汽车分别成功组装 98 次、97 次和 97 次。
- 视觉引导:针对短时程“移动什么以及移到哪里”的指令,YAM 的成功率从 40% 提升至 92%,Dexter 的成功率从 30% 提升至 70%。
常见问题
GR00T 2 与早期机器人模型有何不同?
NVIDIA 将 GR00T 2 描述为一种世界-动作基础模型,能够同时预测未来视频和机器人动作,在学习生成动作的同时,也学习物理交互如何展开。NVIDIA 表示,学习预测世界而不只是对世界采取行动,能够解锁跨域适应、结合智能体控制的快速适应,以及全身运动操作。
GR00T 2 要达到新任务 95% 的成功率,需要多少机器人数据?
据 NVIDIA 称,每项任务提供 5 次演示(相当于不到 3 分钟的机器人数据),可将 50 项目标机器人从未见过的任务的成功率提升至 95%。每次适应都是在单张 RTX 5090 上进行 30 分钟的 LoRA 微调,95% 是这 50 项任务的平均值。
GR00T 2 Turbo 能否在没有外接计算机的情况下运行于人形机器人上?
可以,NVIDIA 表示,GR00T 2 Turbo 可在 Unitree G1 人形机器人上机载运行。在 G1 自带的 Jetson Thor 上,每次预测耗时 124 毫秒;模型通过 SONIC 全身控制器驱动机器人的全身动作。
免责声明:以上内容(如有图片或视频亦包括在内)均为平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。
本站尊重他人的知识产权、名誉权等法律法规所规定的合法权益!如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到qklwk88@163.com,本站相关工作人员将会进行核查处理回复