ScrewMimic：基于螺旋空间投影的人类视频中的双手仿真
机器人学
2024-05-07 v1 人工智能
摘要
双手操作是机器人学中的一个长期挑战，原因在于其自由度众多且需要严格的空间和时间同步才能产生有意义的行为。人类通过观察他人动作并通过玩耍来完善双手操作技能。在本工作中，我们旨在使机器人能够从人类视频演示中学习双手操作行为，并通过交互进行微调。受心理学和生物力学领域的经典工作启发，我们提出将两个手的相互作用建模为串联运动链——具体而言，作为螺旋运动，我们使用它来定义双手操作的新动作空间：螺旋动作。我们引入ScrewMimic框架，利用这种新颖的动作表示来促进从人类演示中学习和自监督策略微调。我们的实验表明，ScrewMimic能够从单个人类视频演示中学习多个复杂的双手行为，并且优于那些直接在两个手臂的原始运动空间中解释演示并进行微调的基线方法。有关更多信息和视频结果，请访问 https://robin-lab.cs.utexas.edu/ScrewMimic/
引用
@article{arxiv.2405.03666,
title = {ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection},
author = {Arpit Bahety and Priyanka Mandikal and Ben Abbatematteo and Roberto Martín-Martín},
journal= {arXiv preprint arXiv:2405.03666},
year = {2024}
}
备注
16 pages