为神经网络引入方向信息用于跨视角地理定位

本文研究基于图像的地理定位（IBL）问题，采用地面到空中的跨视角匹配。目标是通过将地面查询图像与大型带地理标签的航空图像数据库（如卫星图像）进行匹配来预测其空间位置。由于视角和视觉外观的剧烈差异，这是一项具有挑战性的任务。现有的深度学习方法是基于地面与航空图像中的视觉外观通过深度特征嵌入，最大化空间邻近图像对之间的特征相似性，同时最小化相距较远的图像对。然而，在日常生活中，人类通常将方向信息用作空间定位任务的重要线索。受此启发，本文提出一种新方法，赋予深度神经网络以方向的“常识”。给定地面级球形全景图像作为查询输入（以及大型地理参考卫星图像数据库），我们设计了一个孪生网络，显式编码图像每个像素的方向（即球面方向）。我们的方法显著增强了所学深度特征的判别力，实现了比以往所有方法更高的召回率和精度。我们的网络也更紧凑，仅使用先前最佳性能网络 1/5 的参数数量。为评估方法的泛化能力，我们还创建了一个大规模跨视角定位基准，包含覆盖一座城市的 10 万组带地理标签的地面-航空图像对。我们的代码和数据集可在 \url{https://github.com/Liumouliu/OriCNN} 获取。