NeuMap：基于自变换解码器的神经坐标映射用于相机定位
计算机视觉与模式识别
2023-03-28 v2
摘要
本文提出一种用于相机定位的端到端神经映射方法，称为NeuMap，将整个场景编码为潜在代码网格，并借助基于Transformer的自解码器回归查询像素的3D坐标。最先进的特征匹配方法需要将每个场景存储为带逐点特征的3D点云，每个场景消耗数吉字节的存储。尽管可以压缩，但在高压缩率下性能显著下降。相反，坐标回归方法通过将场景信息存储在神经网络中实现高压缩，但鲁棒性降低。NeuMap结合两种方法的优势，利用1）可学习的潜在代码以实现高效场景表示，以及2）场景无关的基于Transformer的自解码器来推断查询像素的坐标。这种场景无关的网络设计从大规模数据中学习鲁棒匹配先验，并在保持网络权重固定的同时实现新场景代码的快速优化。在五个基准上的广泛评估表明，NeuMap显著优于其他坐标回归方法，并在所需场景表示尺寸小得多的情况下取得与特征匹配方法相当的性能。例如，NeuMap在Aachen夜景基准中以仅6MB数据取得39.1%的准确率，而替代方法需要100MB或数吉字节并在高压缩设置下完全失败。代码见 https://github.com/Tangshitao/NeuMap
引用
@article{arxiv.2211.11177,
title = {NeuMap: Neural Coordinate Mapping by Auto-Transdecoder for Camera Localization},
author = {Shitao Tang and Sicong Tang and Andrea Tagliasacchi and Ping Tan and Yasutaka Furukawa},
journal= {arXiv preprint arXiv:2211.11177},
year = {2023}
}
备注
CVPR2023