GLACE: 全局局部加速坐标编码
计算机视觉与模式识别
2024-06-07 v1
摘要
场景坐标回归 (SCR) 方法是一类直接回归 2D-3D 匹配以进行相机姿态估计的视觉定位方法。它们在小规模场景中有效，但在缺乏真实 3D 点云进行监督的大规模场景中面临重大挑战。此时，模型只能依赖重投影约束，需要隐式三角化点。挑战源于根本性的困境：网络必须对同一地标在不同观察视角和光照条件下的观察保持不变，但同时又要区分不相关但相似的观察。在大型场景中，后者变得更为重要且更严重。本文通过引入共视概念来解决此问题。我们提出 GLACE，集成预训练的全局和局部编码，使 SCR 能够仅使用单个小型网络即可扩展到大规模场景。具体而言，我们提出了一种新颖的特征扩散技术，隐式地将重投影约束按共视性进行分组，避免对平凡解的过拟合。此外，我们的参数化位置解码器更有效地处理大规模场景的输出位置。无需使用 3D 模型或深度图进行监督，我们的方法在大规模场景中实现了领先的结果，模型规模小。 在剑桥地标上，我们仅使用一个模型即可实现比 ACE（SCR 最先进方法的集成变体）中位数位置误差降低 17%。代码地址: https://github.com/cvg/glace。
引用
@article{arxiv.2406.04340,
title = {GLACE: Global Local Accelerated Coordinate Encoding},
author = {Fangjinhua Wang and Xudong Jiang and Silvano Galliani and Christoph Vogel and Marc Pollefeys},
journal= {arXiv preprint arXiv:2406.04340},
year = {2024}
}
备注
Large-scale visual localization with a single optimizable MLP. CVPR 2024. Code: https://github.com/cvg/glace. Project page: https://xjiangan.github.io/glace