中文

PVN3D:一种用于 6DoF 姿态估计的深度逐点 3D 关键点投票网络

计算机视觉与模式识别 2020-03-25 v2 机器人学

摘要

在本工作中,我们提出了一种从单张 RGBD 图像进行鲁棒 6DoF 物体姿态估计的新颖数据驱动方法。与以往直接回归姿态参数的方法不同,我们以基于关键点的方式应对这一挑战性任务。具体而言,我们提出一种深度 Hough 投票网络来检测物体的 3D 关键点,随后以最小二乘拟合方式估计 6D 姿态参数。我们的方法是成功应用于基于 RGB 的 6DoF 估计的 2D 关键点方法的自然扩展。它使我们能够利用刚体物体随额外深度信息的几何约束,并且易于网络学习与优化。我们进行了大量实验以证明 3D 关键点检测在 6D 姿态估计任务中的有效性。实验结果还表明,我们的方法在多个基准上大幅优于最先进的方法。代码与视频见 https://github.com/ethnhe/PVN3D.git。

关键词

引用

@article{arxiv.1911.04231,
  title  = {PVN3D: A Deep Point-wise 3D Keypoints Voting Network for 6DoF Pose Estimation},
  author = {Yisheng He and Wei Sun and Haibin Huang and Jianran Liu and Haoqiang Fan and Jian Sun},
  journal= {arXiv preprint arXiv:1911.04231},
  year   = {2020}
}

备注

Accepted to Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020. (CVPR 2020)