VTAO-BiManip: 基于掩码视觉-触觉-动作预训练与物体理解的双臂灵巧操作
机器人学
2025-12-29 v2 计算机视觉与模式识别
摘要
双臂灵巧操作由于每只手的高自由度及其协调性，在机器人领域仍面临重大挑战。现有的单手操作技术通常利用人类演示来指导强化学习方法，但难以泛化到涉及多个子技能的复杂双臂任务。本文提出VTAO-BiManip，一种新颖框架，结合视觉-触觉-动作预训练与物体理解，以促进课程强化学习实现类人双臂操作。我们通过引入手部运动数据改进了先前的学习，为双手协调提供了比二元触觉反馈更有效的指导。我们的预训练模型利用掩码多模态输入预测未来动作以及物体姿态和尺寸，促进跨模态正则化。为解决多技能学习挑战，我们引入两阶段课程强化学习方法以稳定训练。我们在瓶盖拧开任务上评估了该方法，在仿真和真实环境中均证明了其有效性。我们的方法成功率超过现有视觉-触觉预训练方法20%以上。
引用
@article{arxiv.2501.03606,
title = {VTAO-BiManip: Masked Visual-Tactile-Action Pre-training with Object Understanding for Bimanual Dexterous Manipulation},
author = {Zhengnan Sun and Zhaotai Shi and Jiayin Chen and Qingtao Liu and Yu Cui and Qi Ye and Jiming Chen},
journal= {arXiv preprint arXiv:2501.03606},
year = {2025}
}