ManipTrans：基于残差学习的高效细手指 bimanual 操作迁移
机器人学
2025-03-31 v1 计算机视觉与模式识别
摘要
人类手部在与环境交互中发挥核心作用，推动了对灵巧机器人操作的日益关注。数据驱动的具身 AI 算法需要精确的、大规模的、类似人类的操作序列，但传统强化学习或真实世界遥操作难以获取。为此，我们引入 ManipTrans，这是一种新颖的两阶段方法，用于高效地将人类双手技能迁移到灵巧机器人手中。ManipTrans 首先预训练一个通用轨迹模仿器来模拟手部动作，然后在交互约束下微调特定的残差模块，实现对复杂双手任务的高效学习与精准执行。实验表明，ManipTrans 在成功率、保真度和效率方面均优于最先进的方法。利用 ManipTrans，我们将多个手-物体数据集迁移到机器人手中，构建了 DexManipNet 大规模数据集，包含前所未有的任务，如笔帽和瓶盖旋拧。DexManipNet 包含 3300 期机器人操作，易于扩展，为灵巧手的政策训练和实际部署提供支持。
引用
@article{arxiv.2503.21860,
title = {ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning},
author = {Kailin Li and Puhao Li and Tengyu Liu and Yuyang Li and Siyuan Huang},
journal= {arXiv preprint arXiv:2503.21860},
year = {2025}
}
备注
Accepted to CVPR 2025