FLORO: 一个用于跨传感器和尺度的生态遥感多模态地理空间基础模型

基础模型为可迁移的遥感表示提供了一条有前景的途径，但许多当前方法依赖于非常大的预训练数据集和固定的传感器配置，限制了它们在生态和环境应用中的适用性，在这些应用中，观测数据通常因平台、空间和光谱分辨率以及可用模态而异。我们介绍了FLORO，一个多模态地理空间基础模型，旨在从一个规模虽小但高度多样化的遥感语料库中学习可迁移的表示。FLORO使用掩码自编码在Sentinel-1、Sentinel-2、SkySAT影像、高程和无人机衍生数据的异构组合上进行预训练。为了适应传感器可变性，FLORO结合了可用性感知输入，指示每个样本中存在哪些光谱波段和辅助模态，从而在异构传感器配置上实现统一的输入空间。我们在PANGAEA基准上，在冻结编码器协议下，跨场景分类、分割和回归任务评估了FLORO。尽管预训练的语料库比竞争的基础模型小，但FLORO在跨越中分辨率卫星、机载和超高分辨率无人机影像的光学、光学-SAR和光学-高程基准上实现了强大且稳定的迁移。FLORO在六个PANGAEA基准上获得了第二好的平均分割性能，仅次于最近引入的一个在超过两个数量级更多图像上预训练的基础模型，在场景分类上保持竞争力，并且在回归任务中表现稳健，而定性结果显示在洪水、城市、生物量和冠层高度预测场景中空间结构的保持有所改善。在EuroSAT-MS上的一个单独对照实验中，与绝对位置编码相比，地理位置编码进一步提高了分类性能。