学习二维-三维对应以求解盲透视n点问题
计算机视觉与模式识别
2020-03-17 v1
摘要
传统的通过透视n点（PnP）求解器的绝对相机位姿通常假设二维图像像素与三维点之间的对应关系是已知的。当二维与三维点之间的对应关系非先验已知时，该任务便成为更具挑战性的盲 PnP 问题。本文提出一种深度 CNN 模型，可同时求解六自由度绝对相机位姿与二维–三维对应关系。我们的模型由三个依次连接的神经模块组成。首先，一个受 PointNet 启发的双流网络直接应用于二维图像关键点与三维场景点，以利用局部与上下文信息提取有区分力的逐点特征。其次，采用全局特征匹配模块估计所有二维–三维对之间的可匹配性矩阵。第三，所得可匹配性矩阵被输入分类模块以消歧内点匹配。整个网络以端到端方式训练，仅在测试时后续进行鲁棒模型拟合（P3P-RANSAC）以恢复六自由度相机位姿。在真实与仿真数据上的广泛测试表明，我们的方法大幅优于现有方法，并能够以最先进的精度每秒处理数千个点。
引用
@article{arxiv.2003.06752,
title = {Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point Problem},
author = {Liu Liu and Dylan Campbell and Hongdong Li and Dingfu Zhou and Xibin Song and Ruigang Yang},
journal= {arXiv preprint arXiv:2003.06752},
year = {2020}
}
备注
A blind-PnP solver