用于物体位姿估计的神经对应场
计算机视觉与模式识别
2022-08-02 v1 人工智能
机器学习
机器人学
摘要
我们提出了一种从单张RGB图像估计具有可用3D模型的刚体物体6DoF位姿的方法。与经典的基于对应方法在输入图像像素处预测3D物体坐标不同，所提方法在相机视锥中采样的3D查询点处预测3D物体坐标。从像素到3D点的转变受到近期用于3D重建的PIFu风格方法的启发，能够对整个物体进行推理，包括其(自)遮挡部分。对于与像素对齐的图像特征相关联的3D查询点，我们训练一个全连接神经网络来预测：(i)对应的3D物体坐标，以及(ii)到物体表面的有符号距离，其中前者仅对表面附近的查询点定义。我们将该网络实现的映射称为神经对应场(Neural Correspondence Field)。然后通过对预测的3D-3D对应点使用Kabsch-RANSAC算法鲁棒地估计物体位姿。所提方法在三个BOP数据集上取得了最先进(state-of-the-art)的结果，并显示出尤其在具有遮挡的挑战性情况下表现更优。项目网站位于：linhuang17.github.io/NCF。
引用
@article{arxiv.2208.00113,
title = {Neural Correspondence Field for Object Pose Estimation},
author = {Lin Huang and Tomas Hodan and Lingni Ma and Linguang Zhang and Luan Tran and Christopher Twigg and Po-Chen Wu and Junsong Yuan and Cem Keskin and Robert Wang},
journal= {arXiv preprint arXiv:2208.00113},
year = {2022}
}
备注
Accepted to ECCV 2022