KGNv2：基于关键点从RGB-D输入中分离尺度与位姿预测的6自由度抓取合成
机器人学
2023-05-02 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出了一种基于关键点、从2D/2.5D输入合成6自由度抓取位姿的新方法。先前研究表明，基于图像输入的关键点抓取检测器取得了有前景的结果，其中彩色图像提供的额外视觉信息弥补了深度感知的噪声。然而，该方法严重依赖于准确预测图像空间中关键点的位置。本文中，我们设计了一种新的抓取生成网络，降低了对精确关键点估计的依赖。给定RGB-D输入，我们的网络从关键点检测估计抓取位姿以及朝向相机的尺度。我们进一步重新设计了关键点输出空间，以减轻关键点预测噪声对Perspective-n-Point (PnP)算法的负面影响。实验表明，所提方法大幅优于基线，验证了方法的有效性。最后，尽管仅在简单合成物体上训练，我们的方法在真实机器人实验中展现出有竞争力的结果，体现了sim-to-real能力。
引用
@article{arxiv.2303.05617,
title = {KGNv2: Separating Scale and Pose Prediction for Keypoint-based 6-DoF Grasp Synthesis on RGB-D input},
author = {Yiye Chen and Ruinian Xu and Yunzhi Lin and Hongyi Chen and Patricio A. Vela},
journal= {arXiv preprint arXiv:2303.05617},
year = {2023}
}
备注
Submitted to IROS2023; Code is available at: https://github.com/ivalab/KGN