面向空视角地理定位的多环境自适应网络
计算机视觉与模式识别
2024-02-27 v2
摘要
空视角地理定位旨在通过无人机视角图像与带地理标签的卫星视角图像匹配来确定未知位置。该任务多被视为图像检索问题。其关键在于设计一系列深度神经网络以学习有判别力的图像描述符。然而，现有方法在雨雪等真实天气下性能大幅下降，因为它们未考虑训练数据与多个测试环境之间的领域偏移。为缩小此领域差距，我们提出多环境自适应网络（MuSe-Net）来动态调整由环境变化引起的领域偏移。具体而言，MuSe-Net 采用双分支神经网络，包含一个多环境风格提取网络与一个自适应特征提取网络。顾名思义，多环境风格提取网络用于提取与环境相关的风格信息，而自适应特征提取网络利用自适应调制模块动态最小化与环境相关的风格差距。在两个常用基准（即 University-1652 与 CVUSA）上的大量实验表明，所提出的 MuSe-Net 在多环境地理定位中取得了有竞争力的结果。此外，我们观察到该方法对未见极端天气（如雾、雨、雪混合）也展现出巨大潜力。
引用
@article{arxiv.2204.08381,
title = {Multiple-environment Self-adaptive Network for Aerial-view Geo-localization},
author = {Tingyu Wang and Zhedong Zheng and Yaoqi Sun and Chenggang Yan and Yi Yang and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2204.08381},
year = {2024}
}