HumanPlus：基于人类的人类oid 影子投射与模仿

构建与人类形状相似的机器人是一个重要论点，因为我们可以利用海量人类数据进行训练。然而，这在实际中仍具有挑战，主要源于人类oid 感知与控制的复杂性、人类oid 与人类在形态学和执行机构方面的持续差距，以及缺乏从人类视角获取人类oid 自主技能的数据管道。本文引入一个全栈系统，使人类oid 能够从人类数据中学习运动和自主技能。我们首先通过强化学习在仿真环境中训练低层策略，利用现有的 40 小时人类运动数据集。该策略在实际中可迁移，并允许人类oid 机器人仅使用 RGB 相机即可实时跟随人类身体和手部动作，即进行影子投射。通过影子投射，人类操作员可遥控人类oid 收集完成不同任务的全身数据。随后，我们对收集的数据进行监督式行为克隆，以从人类视角训练技能策略，使人类oid 能够通过模仿人类技能自主完成不同任务。我们在定制的 33 自由度、180 厘米高的人类oid机器人上演示了该系统，能够以 60%-100% 的成功率，使用最高 40 次示范自主完成穿鞋站立、走路、卸载仓库货架上的物品、折叠毛衣、整理物品、输入文字以及与另一机器人打招呼等任务。项目网址：https://humanoid-ai.github.io/。