GeoLink：利用 OpenStreetMap 数据赋能遥感基础模型
计算机视觉与模式识别
2025-10-01 v1
摘要
将具有丰富地理上下文的地面级地理空间数据（如 OpenStreetMap, OSM）集成到遥感（RS）基础模型（FM）中，对于推进地理空间智能和支持广泛的任务至关重要。然而，RS 和 OSM 数据之间的模态差异（包括数据结构、内容和空间粒度的差异）使得有效的协同极具挑战性，且现有大多数 RS FM 仅关注图像。为此，本研究提出了 GeoLink，这是一个在预训练和下游任务阶段利用 OSM 数据增强 RS FM 的多模态框架。具体而言，GeoLink 利用从 OSM 数据中导出的多粒度学习信号增强 RS 自监督预训练，并以跨模态空间相关性为指导进行信息交互与协作。它还引入了图像掩码重建，以实现稀疏输入从而进行高效预训练。对于下游任务，GeoLink 生成单模态和多模态细粒度编码，以支持从常见的 RS 解译任务（如土地覆盖分类）到更全面的地理任务（如城市功能区映射）的广泛应用。大量实验表明，在预训练期间结合 OSM 数据可增强 RS 图像编码器的性能，而在下游任务中融合 RS 和 OSM 数据可提高 FM 对复杂地理场景的适应性。这些结果突显了多模态协同在推进高级地理空间人工智能方面的潜力。此外，我们发现空间相关性在实现有效的多模态地理空间数据集成方面起着至关重要的作用。代码、检查点和使用示例已发布于 https://github.com/bailubin/GeoLink_NeurIPS2025
引用
@article{arxiv.2509.26016,
title = {GeoLink: Empowering Remote Sensing Foundation Model with OpenStreetMap Data},
author = {Lubian Bai and Xiuyuan Zhang and Siqi Zhang and Zepeng Zhang and Haoyu Wang and Wei Qin and Shihong Du},
journal= {arXiv preprint arXiv:2509.26016},
year = {2025}
}
备注
NeurIPS 2025