2D3D-MatchNet：学习匹配2D图像与3D点云中的关键点
计算机视觉与模式识别
2019-04-23 v1
摘要
由3D传感器生成的大规模点云比基于图像的对应物更精确。然而，由于难以获取2D-3D图像到点云的对应关系，它很少用于视觉位姿估计。本文中，我们提出2D3D-MatchNet——一种端到端深度网络架构，分别联合学习图像与point cloud中2D与3D关键点的描述子。因此，我们能够从查询图像与3D点云参考地图直接匹配并建立2D-3D对应关系以用于视觉位姿估计。我们利用Oxford Robotcar数据集，借助真实相机位姿与2D-3D图像到点云对应关系，创建了Oxford 2D-3D Patches数据集，用于深度网络的训练与测试。实验结果验证了我们所提方法的可行性。
引用
@article{arxiv.1904.09742,
title = {2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud},
author = {Mengdan Feng and Sixing Hu and Marcelo Ang and Gim Hee Lee},
journal= {arXiv preprint arXiv:1904.09742},
year = {2019}
}