商汤科技(SenseTime)于 10 月 21 日开源两项成果:用于评估具身 AI 系统的框架 SenseNova-RoboRSI,以及拥有 27B 参数的具身模型 SenseNova-RoboRSI-27B-Preview。测试发现,在允许访问训练演示并将步数上限提升至官方设定的 10 倍后,推理成本极高。
GPT-6-Astra 在 12 个模拟基准和 8 个实体机器人上的测试
依据商汤科技的测试报告,GPT-6-Astra 在允许访问训练演示、步数上限设为官方值 10 倍的条件下,在 LIBERO 和 SIMPLE 基准测试中均达到饱和,RoboDojo 测试成功率达 81.9%;此前五次尝试均失败的 9 项 RoboDojo 任务,在允许模型持续交互后,五次全部成功。然而,成本是核心瓶颈:堆叠碗任务耗时约 131 分钟,推理成本约 19 美元;将笔放入笔筒则耗时 263 分钟,成本约 55 美元。
此外,GPT-6-Astra 在长时程任务上的表现仍最弱,难以将技能迁移到其他任务,在处理可变形物体和对实体机器人进行精细控制方面也存在明显困难。商汤科技测试了将慢速推理模型与快速行动模型结合的方法,最佳组合在 42 项 RoboDojo 任务中取得 54% 的成功率,但成本仍是问题。
SenseNova-RoboRSI 评估平台:各基准测试封装为 Docker 镜像
依据商汤科技的说明,SenseNova-RoboRSI 评估平台的核心设计是将每个基准测试及其依赖套件打包到独立的 Docker 镜像中,并通过统一的 HTTP API 提供环境交互和原生评分功能。研究人员可以直接从配置文件运行端到端评估,无需手动配置每个模拟器,降低了具身 AI 研究的部署门槛。
该平台的开源使研究人员能够在标准化环境中重现商汤科技测试 GPT-6-Astra 的完整流程,为社区进行跨模型比较提供基础设施。
SenseNova-RoboRSI-27B-Preview 模型:LIBERO-Pro 得分超过 90 分
依据商汤科技的测试数据,该 27B 模型的设计目标是将经过验证的操作经验融入模型权重,以减少试错次数;各基准测试结果如下:
RoboDojo:26.13 分,任务成功率 20.83%
LIBERO-Pro:90 分以上
RoboCasa365:成功率从 26.0% 提升至 46.5%,推理步数同时减少 73%
成本:完成实体任务的成本仅为 GPT-6-Astra 的 1/50
27B 模型在 RoboDojo 中的 20.83% 成功率低于 GPT-6-Astra 在扩展预算条件下的 81.9%,但考虑到成本差距达 50 倍,两者在实际部署场景中的使用逻辑截然不同;所有数据均为商汤科技自行测试,尚未经过第三方独立验证。
商汤科技对未来具身 AI 基准的观点:真实人类需求、交互学习
商汤科技在报告中提出了对未来具身 AI 评估基准的设计建议:基准应围绕真实的人类需求构建,而非只针对技术指标;要求机器人通过交互进行学习,而不是依赖预设脚本;以及最具特色的主张——“将思考时间计入世界时间,因为模型思考时,锅子会持续加热”。
这一观点反映了具身 AI 与纯语言模型的核心差异:机器人必须在真实物理世界中即时响应,模型的推理延迟不是纯粹的计算成本,而是真实的物理后果。
常见问题
商汤科技开源的 SenseNova-RoboRSI 包含哪些内容?
依据商汤科技的发布说明,开源成果包含两部分:SenseNova-RoboRSI 具身 AI 评估平台(各基准测试封装为 Docker 镜像,通过统一的 HTTP API 使用),以及 SenseNova-RoboRSI-27B-Preview 具身模型(拥有 27B 参数)。
商汤科技测试 GPT-6-Astra 的主要发现是什么?
依据商汤科技的测试报告,GPT-6-Astra 在允许访问训练演示并提升步数上限后,RoboDojo 成功率可达 81.9%;但成本极高,笔放入笔筒任务耗时 263 分钟、成本约 55 美元;长时程任务和精细控制仍是明显弱项。所有结果均为商汤科技自行测试,尚未经过独立验证。
27B 模型的成本如何与 GPT-6-Astra 相比?
依据商汤科技的数据,SenseNova-RoboRSI-27B-Preview 完成实体任务的推理成本仅为 GPT-6-Astra 的 1/50;在 LIBERO-Pro 基准测试中得分 90 分以上,RoboCasa365 任务成功率提升至 46.5%,同时推理步数减少 73%。
商汤科技认为未来具身 AI 基准应如何设计?
依据报告,商汤科技认为未来基准应围绕真实人类需求构建,要求机器人通过交互学习,并将模型思考时间计入世界时间——“因为模型思考时,锅子会持续加热”,反映具身 AI 的即时物理响应需求。
免责声明:以上内容(如有图片或视频亦包括在内)均为平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。
本站尊重他人的知识产权、名誉权等法律法规所规定的合法权益!如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到qklwk88@163.com,本站相关工作人员将会进行核查处理回复