利用俯瞰图像定位与定向街景

在本文中，我们旨在通过匹配俯瞰（例如卫星）图像参考数据库来确定地面查询图像的位置与方向。为此任务，我们收集了一个包含从美国十一个城市采样的百万对街景与俯瞰图像的新数据集。我们探索了几种用于跨域匹配的深度 CNN 架构——分类、混合、孪生和三元组网络。分类与混合架构准确但缓慢，因为它们仅允许部分特征预计算。我们提出了一种新的损失函数，其在保持对图像地理定位等大规模检索任务适用性的同时，显著提高了孪生与三元组嵌入网络的精度。该图像匹配任务之所以具有挑战性，不仅因为地面与俯瞰图像间剧烈的视角差异，还因为街景的方向（即方位角）未知，使得对应更加困难。我们考察了尽管如此仍进行匹配的几种机制——训练旋转不变性、在查询时采样可能旋转、以及用我们的深度网络显式预测地面与俯瞰图像的相对旋转。结果表明显式方向监督也提高了位置预测精度。我们性能最佳的架构比常用的孪生网络基线准确约 2.5 倍。