hermes-agent量产系统

一段视频打造无限训练场!李飞飞团队Real2Sim破局具身智能痛点

在具身智能圈子里,一直有个让人头疼的“老大难”问题——Sim2Real(从仿真到现实)。想给机器人建个逼真的虚拟训练场,不仅烧钱耗时,最尴尬的是,模型在虚拟世界里练得再好,一到现实环境也经常“水土不服”,性能大打折扣。

但现在,这堵墙要被推倒了。

最近,李飞飞团队携手英伟达GEAR实验室、佐治亚理工等机构,抛出了一个颠覆性的破局思路:Real2Sim。他们打造的这套名为“SimFoundry”的系统,玩法极其硬核:只需要随手拍一段真实世界的视频,就能自动凭空捏出一个能交互、能训练、能评测的机器人仿真世界。

不同于传统的3D场景死板重建,SimFoundry实现了对真实世界的深度解构与重塑,把仿真环境的搭建门槛直接降到了地板上。

核心魔法:“数字孪生”与“数字表亲”的闭环

这套系统凭什么这么猛?秘诀就在于它独创的“数字孪生”与“数字表亲”闭环机制

  1. 提取与复刻(数字孪生):系统就像一个超级侦探,对输入的视频进行深度解析,精准扒出场景中物体的几何结构、物理属性以及交互功能,从而构建出一个高精度的1:1“数字孪生”基底。
  2. 裂变与繁衍(数字表亲):这才是真正的魔法时刻。在这个高精度基底之上,系统开始自动“魔改”——调整物体的外观、改变形态、重新排兵布阵场景布局,甚至重塑操作任务,瞬间裂变出海量的“数字表亲”。

这意味什么?开发者只需喂进去一段视频,就能获得近乎无穷无尽的训练数据。 机器人完全可以在这些自动生成的虚拟沙盒里,完成从策略学习到自动评测的整个闭环。

仿真成绩=现实表现,零样本迁移成现实

光说理论不够硬,数据才能见真章。实验证明,SimFoundry有着极强的预测能力:机器人在仿真中跑出的评测成绩,与现实世界的真实表现呈现出极高的一致性。

更让人惊艳的是,用这些自动生成数据训出来的机器人策略,直接实现了“零样本”迁移!无需再费时费力去现实里微调,机器人就能在多步操作、双臂协作等高难度复杂任务中大显身手,表现相当优异。

具身智能开发流程即将大洗牌

这项集结了多位机器人领域顶尖学者(包括英伟达GEAR核心研究员与李飞飞团队成员)的重磅研究,正在给整个行业释放一个强烈信号:告别昂贵低效的人工采集与建模吧!

随着SimFoundry走向开源与应用,生成式技术将彻底重塑具身智能的开发流程。从实验室走向真实世界,机器人的步伐即将被大幅按下加速键。

论文链接https://arxiv.org/pdf/2606.28276v1

类似文章