我在看向何处？基于跨视角匹配的位置与朝向联合估计

跨视角地理定位是指在给定大规模带地理标签的航空（如卫星）图像数据库的情况下，估计地面相机的位置和朝向（纬度、经度和方位角）的问题。现有方法通过学习判别性特征描述子将该任务视为纯位置估计问题，却忽略了朝向对齐。众所周知，知道地面与航空图像之间的朝向可以显著减少这两个视角之间的匹配歧义，尤其是当地面图像具有有限视场角（FoV）而非全视场全景时。因此，我们设计了一个动态相似性匹配网络，在定位过程中估计跨视角朝向对齐。具体而言，我们通过将极坐标变换应用于航空图像来解决跨视角域差距，以在未知方位角的情况下近似对齐图像。然后，使用双流卷积网络从地面图像和极坐标变换后的航空图像中学习深度特征。最后，我们通过计算跨视角特征之间的相关性来获得朝向，这也提供了更准确的特征相似性度量，从而提高了位置召回率。在标准数据集上的实验表明，我们的方法显著提升了最先进性能。值得注意的是，在CVUSA数据集上，对于已知朝向的全景图，我们将top-1位置召回率提升了1.5倍；对于未知朝向的全景图，提升了3.3倍；对于未知朝向的180度FoV图像，提升了6倍。