用多传感器地理空间基础模型桥接遥感器

在地理空间分析领域，遥感器的多样性（包括光学和微波技术）提供了丰富的独特观测能力。认识到这一点，我们提出了msGFM，一个多传感器地理空间基础模型，有效统一了来自四种关键传感器模态的数据。这种集成涵盖了一个包含两百万多传感器图像的庞大数据集。msGFM独特地擅长处理成对和未配对的传感器数据。对于来自相同地理位置的数据，我们的模型在掩码图像建模中采用了一种创新的跨传感器预训练方法，能够从不同传感器合成联合表示。msGFM集成了四种遥感器，保持了强大的性能，形成了一个适应各种传感器类型的综合模型。msGFM在多种单传感器和多传感器下游任务中展示了增强的能力，包括场景分类、分割、云去除和全色锐化。我们研究的一个关键发现是，从自然图像中得到的表示并不总是与地理空间遥感器的独特特征兼容，这突显了现有表示在该领域的局限性。我们的工作可以为开发多传感器地理空间预训练模型提供指导，为更先进的地理空间能力铺平道路。