RGB至关重要：在单目RGBD图像上学习7自由度抓取位姿
机器人学
2021-03-04 v1 计算机视觉与模式识别
摘要
通用物体抓取是机器人领域中一个重要但尚未解决的问题。当前大多数方法要么生成自由度较少的抓取位姿而无法覆盖大多数成功抓取，要么仅将不稳定的深度图像或点云作为输入，这在某些情况下可能导致较差的结果。本文中，我们提出RGBD-Grasp，一种通过将7自由度抓取检测解耦为两个子任务（RGB和深度信息分别处理）来解决该问题的流程。在第一阶段，提出类编码器-解码器的卷积神经网络Angle-View Net（AVN）来预测图像每个位置上夹爪的SO(3)方向。随后，快速解析搜索（FAS）模块计算夹爪的张开宽度和到抓取点的距离。通过解耦抓取检测问题并引入稳定的RGB模态，我们的流程降低了对高质量深度图像的要求，并对深度传感器噪声具有鲁棒性。我们在GraspNet-1Billion数据集上相比多个基线取得了最先进的结果。在配备Intel Realsense相机和Robotiq两指夹爪的UR5机器人上的真实机器人实验显示，在单物体场景和杂乱场景中均具有高成功率。我们的代码和训练模型将公开可用。
引用
@article{arxiv.2103.02184,
title = {RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images},
author = {Minghao Gou and Hao-Shu Fang and Zhanda Zhu and Sheng Xu and Chenxi Wang and Cewu Lu},
journal= {arXiv preprint arXiv:2103.02184},
year = {2021}
}
备注
Accepted by ICRA 2021