RoboWheel：来自真实人类演示的数据引擎用于跨本体化机器人学习

我们介绍 Robowheel，这是一个将人类手部-物体交互（HOI）视频转换为跨本体化机器人学习训练就绪监督的数据引擎。从单目 RGB 或 RGB-D 输入中，我们进行高精度 HOI 重建，并通过强化学习（RL）优化器对手部-物体相对位置进行物理可行性约束下的细化。重建的、富含接触信息的轨迹随后被 retarget 到跨本体化场景，包括具有简单末端执行器的机器人臂、灵巧手和人oid 等，生成可执行动作和滚动。为扩大覆盖范围，我们构建了一个基于 Isaac Sim 的仿真增强框架，包含多样化的域随机化（本体化、轨迹、物体检索、背景纹理、手部运动镜像），该框架丰富了轨迹和观察的分布，同时保持空间关系和物理可行性。整个数据管道形成一个从视频、重建、retarget、增强数据获取的端到端管道。我们在主流的视觉-语言-动作（VLA）和模仿学习架构上验证了该数据，证明了我们管道产生的轨迹稳定性相当于遥控操作，并实现了相当于遥控操作的持续性能提升。迄今为止，这提供了 HOI 模式可作为机器人学习有效监督的首个定量证据。与遥控操作相比，RoboWheel 轻巧高效，仅需单目 RGB(D) 相机即可提取通用、本体化无关的运动表示，并可灵活地跨本体化 retarget。我们进一步组装了一个大规模多模态数据集，融合多摄像机捕获、单目视频和公开 HOI 语料库，用于训练和评估具身模型。