从单手到多手：基于单摄像头遥操作的灵巧操作模仿学习

我们提出从人类演示中对多指机器人手进行灵巧操作的模仿学习，并将策略迁移到真实机器人手上。我们引入了一种新颖的单摄像头遥操作系统，仅需一台iPad和一台电脑即可高效收集3D演示。我们系统的一个关键贡献是，在物理模拟器中为每个用户构建了一个定制的机器人手，这是一个与操作者手部具有相同运动学结构和形状的操纵器。这提供了一个直观的界面，并避免了数据收集过程中不稳定的人-机器人手重定向，从而获得大规模、高质量的数据。数据收集完成后，定制的机器人手轨迹可以转换为不同的指定机器人手（已制造的模型）以生成训练演示。通过使用我们的数据进行模仿学习，我们在多个复杂的操作任务上相比基线方法取得了显著提升。重要的是，我们展示了学习到的策略在迁移到真实机器人时具有显著更强的鲁棒性。更多视频可在https://yzqin.github.io/dex-teleop-imitation找到。