基于地面至卫星图像配准的弱监督相机定位

地面至卫星图像匹配/检索最初被提出用于城市尺度的地面相机定位。本文解决的问题是通过地面至卫星图像匹配提高相机姿态精度，前提是已获得粗略的位置和方向信息，这些信息要么来自城市尺度的检索，要么来自消费级 GPS 与指南针传感器。现有的基于学习的方法需要地面图像的准确 GPS 标签才能进行网络训练。然而获取准确的 GPS 标签往往需要昂贵的实时动态定位（RTK） setup，并且容易受到信号遮挡、多路径信号干扰等问题的影响。为缓解此问题，本文提出了一种针对仅可获得地面图像噪声姿态标签进行网络训练的弱监督学习策略。该方法为每个地面图像导出正负卫星图像，并利用对比学习来学习有助于 translation estimation 的地面和卫星图像的特征表示。我们还提出了一种用于跨视图图像相对旋转估计的自监督策略，通过创建伪查询对和参考图像对来训练网络。实验结果表明，我们的弱监督学习策略在跨区域评估中优于最近的基于准确姿态标签进行监督的 state-of-the-art 方法。