CordViP：基于对应关系的Visuomotor策略用于机器人精细操作

Yankai Fu; Qiuxuan Feng; Ning Chen; Zichen Zhou; Mengzhen Liu; Mingdong Wu; Tianxing Chen; Shanyu Rong; Jiaming Liu; Hao Dong; Shanghang Zhang

CordViP：基于对应关系的Visuomotor策略用于机器人精细操作

机器人学 2025-04-29 v2 人工智能

作者: Yankai Fu , Qiuxuan Feng , Ning Chen , Zichen Zhou , Mengzhen Liu , Mingdong Wu , Tianxing Chen , Shanyu Rong , Jiaming Liu , Hao Dong , Shanghang Zhang

在 arXiv 上查看 ↗ PDF ↗

摘要

实现机器人在人类水平的灵巧操作是机器人操作领域的关键目标。最近的基于 3D 的模仿学习取得了有前景的成果，为实现这一目标提供了有效的途径。然而，获取高质量的 3D 表示存在两个关键问题：（1）由单视图相机捕获的点云质量受相机分辨率、位置以及由灵巧手导致的遮挡显著影响；（2）全局点云缺乏必要的接触信息和空间对应关系，这些信息对于细粒度的灵巧操作任务至关重要。为消除这些限制，我们提出 CordViP，一种 novel 框架，通过利用对象和机器人本体感知的鲁棒 6D 位姿估计来构建和学习对应关系。具体而言，我们首先引入交互感知点云，建立对象与手部之间的对应关系。这些点云随后用于我们的预训练策略中，我们还融入对象中心的接触图和手臂协调信息，有效捕获空间与时间动态。我们的方法在六个实际任务中展现出卓越的灵巧操作能力，显著超越其他基线。实验结果还突显 CordViP 对不同对象、视角和情景的优异泛化和鲁棒性。代码与视频已于 https://aureleopku.github.io/CordViP 提供。

关键词

灵巧操作 Visuomotor 策略点云接触图 6D 位姿估计

引用

@article{arxiv.2502.08449,
  title  = {CordViP: Correspondence-based Visuomotor Policy for Dexterous Manipulation in Real-World},
  author = {Yankai Fu and Qiuxuan Feng and Ning Chen and Zichen Zhou and Mengzhen Liu and Mingdong Wu and Tianxing Chen and Shanyu Rong and Jiaming Liu and Hao Dong and Shanghang Zhang},
  journal= {arXiv preprint arXiv:2502.08449},
  year   = {2025}
}

备注

Robotics: Science and Systems (RSS) 2025. Videos, code: https://aureleopku.github.io/CordViP

CordViP：基于对应关系的Visuomotor策略用于机器人精细操作

摘要

关键词

引用

备注

相关论文