利用局部表面嵌入在彩色图像中进行未见物体的 3D 物体检测与姿态估计
计算机视觉与模式识别
2020-10-09 v1
摘要
我们提出了一种用于检测和估计图像中物体 3D 姿态的方法，该方法仅需无纹理 CAD 模型，且对于新物体无需训练阶段。我们的方法结合了深度学习与 3D 几何：它依赖于局部 3D 几何的嵌入，将 CAD 模型与输入图像进行匹配。对于物体表面上的点，可以直接从 CAD 模型计算该嵌入；对于图像位置，我们学习从图像本身预测该嵌入。这在 CAD 模型上的 3D 点与输入图像的 2D 位置之间建立了对应关系。然而，由于许多点可能具有相似的局部几何结构，这些对应关系中有许多是模糊的。我们表明，可以以类别无关的方式使用 Mask-RCNN 检测新物体而无需重新训练，从而大幅限制可能的对应关系数量。随后，我们可以使用类似 RANSAC 的算法从这些具有区分度的对应关系中稳健地估计出 3D 姿态。我们在 T-LESS 数据集上展示了该方法的性能，通过使用少量物体学习嵌入并在其他物体上进行测试。实验表明，我们的方法与以往方法相当或更优。
引用
@article{arxiv.2010.04075,
title = {3D Object Detection and Pose Estimation of Unseen Objects in Color Images with Local Surface Embeddings},
author = {Giorgia Pitteri and Aurélie Bugeau and Slobodan Ilic and Vincent Lepetit},
journal= {arXiv preprint arXiv:2010.04075},
year = {2020}
}