学习人类至人类化器的实时全身遥操作

我们提出了 Human to Humanoid (H2O) 框架，基于强化学习 (RL)，使仅依赖 RGB 相机即可实现对全身人类机器人的实时全身遥操作。为创建用于人类机器人的大规模 retargeted 人体动作数据集，我们提出了可扩展的 sim-to-data 流程，通过 privileged motion imitator 来筛选和挑选可行动作。随后，我们在仿真环境中训练一个稳健的实时人类机器人动作模仿器，并零样本迁移到真实人类机器人上。我们成功实现了在真实场景中进行动态全身动作的遥操作，包括行走、后跳、踢腿、转向、挥手、推送、拳击等。据我们所知，这是首次实现基于学习的实时全身人类机器人遥操作。