落地现实:面向地理定位的卫星到街景图像合成
计算机视觉与模式识别
2021-03-12 v1
摘要
基于跨视角图像的地理定位目标是将给定街景图像与一组带地理标签的卫星图像进行匹配以确定其位置。该任务因两域之间剧烈的视角与外观差异而 notoriously 具有挑战性。我们表明,可通过学习从卫星输入合成逼真街景来显式地解决这一差异。遵循该观察,我们提出了一种新颖的多任务架构,其中图像合成与检索被联合考虑。其背后的基本原理是:若我们利用潜特征表示来跨两个输入域生成图像,便可偏置网络学习对检索有用的潜特征表示。据我们所知,我们的方法是首个以端到端方式从卫星图像创建逼真街景并同时定位对应查询街景的方法。在实验中,我们在 CVUSA 与 CVACT 基准上取得了最先进(state-of-the-art)性能。最后,我们展示了卫星到街景合成的引人注目的定性结果。
引用
@article{arxiv.2103.06818,
title = {Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localization},
author = {Aysim Toker and Qunjie Zhou and Maxim Maximov and Laura Leal-Taixé},
journal= {arXiv preprint arXiv:2103.06818},
year = {2021}
}