通过几何引导的跨视角Transformer提升地面到卫星的三自由度相机定位精度

基于图像检索的跨视角定位方法常因数据库卫星图像采样密度有限而导致相机位姿估计非常粗糙。本文中，我们提出一种方法，通过估计地面图像与其匹配/检索到的卫星图像之间的相对旋转与平移来提升地面相机位置与朝向的精度。我们的方法设计了一个几何引导的跨视角Transformer，结合传统几何与可学习跨视角Transformer的优势，将地面视角观测映射到俯视视角。给定合成的俯视图与观测到的卫星特征图，我们构建了一个具有强全局信息嵌入能力的神经位姿优化器来估计它们之间的相对旋转。在对齐旋转后，我们发展了不确定性引导的空间相关性以生成车辆位置的概率图，由此可确定相对平移。实验结果表明，我们的方法显著优于当前最优方法。值得注意的是，在跨视角KITTI数据集上将车辆横向位姿限制在其真值（GT）1m以内的概率从 $35.54\%$ 提升至 $76.44\%$，将车辆朝向限制在其GT $1^{\circ}$ 以内的概率从 $19.64\%$ 提升至 $99.10\%$。