SatVision-TOA：面向粗分辨率全景遥感影像的地理空间基础模型

基础模型有望变革遥感（RS）数据分析的格局，通过在大量遥感数据上预训练大型计算机视觉模型，然后用少量标记训练数据进行微调，并应用于各种任务。目前大多数现有基础模型设计用于高空间分辨率、无云卫星影像或照片，限制了其在需要频繁时间监测或广泛光谱轮廓的场景中的适用性。结果是，仅在无云图像上训练的基础模型对于涉及大气变量或需要大气校正的应用具有有限实用性。我们引入SatVision-TOA，这是一种基于14波段MODIS L1B顶点大气（TOA）辐射影像预训练的新型基础模型，旨�解决针对中等至粗分辨率全天候遥感数据的模型预训练需求。SatVision-TOA模型采用掩码图像建模（MIM）框架和SwinV2架构进行预训练，通过无监督学习学习详细的上下文表示，无需标签。该模型拥有30亿参数，在1亿张图像上训练。迄今为止，已知是solely仅基于卫星RS影像训练的规模最大的基础模型。结果表明，SatVision-TOA在诸如3D云检索等下游任务上优于基线方法。该模型在3D云检索任务中实现了平均交并比（mIOU）为0.46，显著优于基线mIOU的0.22。此外，与基线相比，微调任务中假阴性结果的比率下降了超过50%。我们的工作推进了多光谱RS中预训练视觉建模，通过学习多种大气和气溶胶条件以提高云和地表监测能力。