用于相机重定位的 3D 稀疏地图点与线表示
计算机视觉与模式识别
2024-02-29 v1
摘要
视觉定位与建图的最新进展已证明在整合点特征和线特征方面取得了显著成功。然而，将定位框架扩展到包含更多建图组件通常会导致用于匹配任务的内存和计算资源需求增加。在本研究中，我们展示了轻量级神经网络如何学习表示 3D 点和线特征，并通过利用多个学习到的映射的能力展现出领先的位姿精度。具体来说，我们利用单个 Transformer 块对线特征进行编码，有效地将它们转换为独特的类点描述符。随后，我们将这些点描述符集和线描述符集视为不同但相互关联的特征集。通过在多个图层内集成自注意力和交叉注意力，我们的方法在回归使用两个简单 MLP 的 3D 地图之前，有效地精炼了每个特征。在全面的实验中，我们的室内定位结果在基于点和基于线辅助的配置中均优于 Hloc 和 Limap。此外，在室外场景中，我们的方法取得了显著领先，标志着对最先进的基于学习方法的最大改进。本工作的源代码和演示视频公开于：https://thpjp.github.io/pl2map/。
引用
@article{arxiv.2402.18011,
title = {Representing 3D sparse map points and lines for camera relocalization},
author = {Bach-Thuan Bui and Huy-Hoang Bui and Dinh-Tuan Tran and Joo-Ho Lee},
journal= {arXiv preprint arXiv:2402.18011},
year = {2024}
}