学习将人类手部技能迁移至机器人操作
机器人学
2025-01-09 v1 人工智能
机器学习
摘要
我们提出了一种教导机器人进行灵巧操作任务的方法，这些任务从人类手部动作演示中学习。不同于现有方法仅依赖运动学信息且不考虑机器人与物体交互可行性的做法，我们的方法直接从人类动作演示推断可行的机器人操作动作。为解决人类手部与机器人系统之间的 embodiment 差距，我们的方法学习一个联合运动流形，将人类手部动作、机器人手部动作和物体运动在三维空间中关联起来，从而实现从其他运动分量推断一个运动分量。我们的核心思想是生成伪监督三元组，将人类、物体和机器人运动轨迹进行合成配对。通过机器人手部操作的实际实验，我们展示了该数据驱动的重目标方法显著优于传统重目标技术，有效弥合了人类手部与机器人手部之间的 embodiment 差距。网站地址为 https://rureadyo.github.io/MocapRobot/。
引用
@article{arxiv.2501.04169,
title = {Learning to Transfer Human Hand Skills for Robot Manipulations},
author = {Sungjae Park and Seungho Lee and Mingi Choi and Jiye Lee and Jeonghwan Kim and Jisoo Kim and Hanbyul Joo},
journal= {arXiv preprint arXiv:2501.04169},
year = {2025}
}
备注
Preprint. Under Review