DexCap：面向灵巧操作的可扩展便携式动作捕捉数据采集系统
机器人学
2024-07-08 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
从人手运动数据进行模仿学习，为赋予机器人在真实世界操作任务中类人的灵巧性提供了一条有前景的途径。尽管具有此潜力，但仍存在重大挑战，特别是现有手部动作捕捉（mocap）系统的便携性，以及将 mocap 数据转化为有效机器人策略的复杂性。为解决这些问题，我们引入了 DexCap——一种便携式手部动作捕捉系统，以及 DexIL——一种直接从人手 mocap 数据训练灵巧机器人技能的新型模仿学习算法。DexCap 基于 SLAM 和电磁场对腕部和手指运动进行精确且抗遮挡的追踪，同时提供环境的 3D 观测。利用这一丰富数据集，DexIL 采用逆运动学和基于点云的模仿学习，用机器人手无缝复现人类动作。除了直接从人类运动中学习外，DexCap 还在策略 rollout 期间提供可选的人在环修正机制，以细化并进一步提升任务表现。通过在六项具有挑战性的灵巧操作任务上的广泛评估，我们的方法不仅展示了卓越的性能，还展示了系统有效利用野外 mocap 数据进行学习的能力，为未来追求人类水平机器人灵巧性的数据采集方法铺平了道路。更多详情请见 https://dex-cap.github.io
引用
@article{arxiv.2403.07788,
title = {DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation},
author = {Chen Wang and Haochen Shi and Weizhuo Wang and Ruohan Zhang and Li Fei-Fei and C. Karen Liu},
journal= {arXiv preprint arXiv:2403.07788},
year = {2024}
}