Holo-Dex：以沉浸式混合现实教授灵巧性

教导机器人的一个根本挑战是为人类教师提供一个有效的接口，以向机器人演示有用的技能。这一挑战在灵巧操作中更为严峻，因为教授高维、富含接触的行为通常需要深奥的遥操作工具。在这项工作中，我们提出 Holo-Dex，一个用于将教师置于通过商用 VR 头显实现的沉浸式混合现实中的灵巧操作框架。头显上高保真的手部姿态估计器用于遥操作机器人，并为各种通用灵巧任务收集演示。给定这些演示，我们使用强大的特征学习结合非参数模仿来训练灵巧技能。我们在六项常见灵巧任务（包括手中旋转、旋转和开瓶）上的实验表明，Holo-Dex 既能在数小时内收集高质量演示数据，也能训练技能。最后，我们发现我们训练出的技能可以对训练中未见过的物体表现出泛化能力。Holo-Dex 的视频可在 https://holo-dex.github.io 获取。