MapGlue:多模态遥感图像匹配
计算机视觉与模式识别
2025-03-21 v1
摘要
多模态遥感图像 (MRSI) 匹配对于跨模态融合、定位和目标检测至关重要,但由于不同成像模态之间存在几何、辐射和视点差异,它面临着严峻的挑战。现有的单模态数据集缺乏规模和多样性,限制了深度学习解决方案。本文提出了 MapGlue,一个通用的 MRSI 匹配框架,以及 MapData,一个旨在填补这些空白的大规模多模态数据集。我们的贡献有两方面。MapData 是一个跨越 233 个采样点、具有全球多样性的数据集,提供原始图像(7,000x5,000 至 20,000x15,000 像素)。经过严格清洗后,它提供了 121,781 对对齐的电子地图-可见光图像对(512x512 像素),并带有混合的人工-自动标注的真值,解决了可扩展多模态基准的稀缺问题。MapGlue 将语义上下文与双图引导机制相结合,以提取跨模态不变特征。这种结构实现了从全局到局部的交互,增强了描述子对特定模态畸变的鲁棒性。在 MapData 和五个公开数据集上的广泛评估表明,MapGlue 在复杂条件下的匹配精度优于 SOTA 方法。值得注意的是,MapGlue 无需重新训练即可有效泛化到未见过的模态,凸显了其适应性。这项工作通过将可扩展的数据集构建与鲁棒的语义驱动框架相结合,解决了 MRSI 匹配中长期存在的挑战。此外,MapGlue 在未专门训练的其他模态匹配任务上也展现出强大的泛化能力。数据集和代码可在 https://github.com/PeihaoWu/MapGlue 获取。
引用
@article{arxiv.2503.16185,
title = {MapGlue: Multimodal Remote Sensing Image Matching},
author = {Peihao Wu and Yongxiang Yao and Wenfei Zhang and Dong Wei and Yi Wan and Yansheng Li and Yongjun Zhang},
journal= {arXiv preprint arXiv:2503.16185},
year = {2025}
}
备注
The dataset and code are available at https://github.com/PeihaoWu/MapGlue