基于语义分割引导的地面至航空图像匹配方法

当前，准确的地视图图像地理定位在新闻、 Forensic分析、交通和地球观测等领域均发挥着重要作用。本文解决的问题是在没有GPS数据的情况下，将查询地视图图像与相应的卫星图像进行匹配。通过比较地视图图像与卫星视图图像的特征，创新性地利用后者的分割掩码，通过三流类似Siamese网络实现匹配。 proposed方法Semantic Align Net（SAN）专注于有限视场（FoV）和地面全景图像（视场为360{\deg}的图像）。新颖之处在于将卫星图像及其语义分割掩码融合，以确保模型能够提取有用特征并聚焦于图像的重要部分。本工作表明，SAN通过对图像进行语义分析可在测试所有FoV时提高在无标签CVUSA数据集上的性能。