OmniH2O：通用且灵巧的人到人形机器人全身遥操作与学习

我们提出了 OmniH2O（全向人到人形机器人），一个基于学习的全身人形机器人遥操作与自主系统。利用运动学姿态作为通用控制接口，OmniH2O 使人类能够通过多种方式控制具有灵巧双手的全尺寸人形机器人，包括通过 VR 头显进行实时遥操作、语音指令和 RGB 摄像头。OmniH2O 还通过从遥操作演示中学习或与前沿模型（如 GPT-4）集成，实现了完全自主。OmniH2O 在多种真实世界全身任务中展示了通用性和灵巧性，无论是通过遥操作还是自主方式，例如进行多种运动、移动和操作物体以及与人类交互。我们开发了一个基于强化学习的仿真到现实流水线，包括大规模重定向和增强人体运动数据集、通过模仿特权教师策略学习具有稀疏传感器输入的可在现实世界部署的策略，以及增强鲁棒性和稳定性的奖励设计。我们发布了第一个人形机器人全身控制数据集 OmniH2O-6，包含六个日常任务，并展示了从遥操作数据集中学习人形机器人全身技能。