ImitationNet：基于共享潜空间的无监督人到机器人运动重定向
机器人学
2024-04-09 v3 人工智能
摘要
本文介绍了一种用于人到机器人运动重定向的新型深度学习方法，使机器人能够准确模仿人体姿态。与先前基于深度学习的工作不同，我们的方法不需要配对的人到机器人数据，这便于其迁移到新型机器人。首先，我们通过自适应对比学习构建人与机器人之间的共享潜空间，该学习利用了所提出的人体与机器人姿态间的跨域相似度度量。此外，我们提出了一致性项以构建公共潜空间，该空间精确捕捉姿态相似性，同时允许从潜空间直接进行机器人运动控制。例如，我们可以通过两个投影后人体姿态之间的简单线性插值生成中间运动。我们对来自多种模态（即文本、RGB 视频和关键姿态）的机器人控制进行了综合评估，便于非专业用户进行机器人控制。我们的模型在人到机器人重定向的效率和精度方面优于现有工作。最后，我们通过全身控制器在真实机器人上实现了具有自碰撞规避的方法，以展示我们方法的有效性。更多信息见我们的网站 https://evm7.github.io/UnsH2R/
引用
@article{arxiv.2309.05310,
title = {ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space},
author = {Yashuai Yan and Esteve Valls Mascaro and Dongheui Lee},
journal= {arXiv preprint arXiv:2309.05310},
year = {2024}
}
备注
Accepted to Humanoids 2023. Website: https://evm7.github.io/UnsH2R/