基于去噪扩散模型的多天气跨视图地理定位

跨视图地理定位旨在通过匹配无GNSS信号环境下的无人机视图图像与来自大型图库的带地理标签的卫星视图图像来确定未知位置。近期研究表明，在特定天气条件下学习判别性图像表征可显著提升性能。然而，未见极端天气条件的频繁发生阻碍了这一进展。本文引入了MCGF（Multi-weather Cross-view Geo-localization Framework），一个针对未见天气条件的动态适应框架。MCGF通过去噪扩散模型建立图像恢复与地理定位的联合优化。对于图像恢复，MCGF采用共享编码器和轻量化恢复模块以消除天气特定信息。对于地理定位，MCGF使用EVA-02作为特征提取 backbone，采用交叉熵损失进行训练，使用余弦距离进行测试。在University160k-WX数据集上进行的广泛实验表明，MCGF在不同天气条件下实现了具竞争力的地理定位效果。