重新审视街景到航拍图像的地理定位与朝向估计

街景到航拍图像的地理定位，即将查询街景图像与参考集中带有 GPS 标签的航拍图像进行匹配，最近引起了越来越多的关注。在本文中，我们重新审视了这个问题，并指出了被忽略的图像对齐信息问题。我们表明，一个简单的孪生网络（Siamese network）的性能高度依赖于对齐设置，并且如果先前的工作有不同的假设，它们之间的比较可能是不公平的。我们没有专注于对齐假设下的特征提取，而是表明度量学习技术的改进无论对齐与否都能显著提升性能。在不利用对齐信息的情况下，我们的流程在全景和裁剪数据集上的表现都优于先前的工作。此外，我们利用 Grad-CAM 进行可视化，以帮助理解学习到的模型以及对齐信息的影响。基于我们对近似旋转不变激活图的发现，我们提出了一种新方法来估计一对具有未知对齐信息的跨视角图像之间的朝向/对齐。该方法在 CVUSA 数据集上取得了最先进的结果。