针对荷兰高分辨率遥感数据的 Foundation Model 开发

我们使用 120 万张荷兰高分辨率卫星图像开发了一个 foundation model。通过结合卷积神经网络和 Vision Transformer，该模型捕获了低频和高频景观特征，如精细纹理、边缘和小物体，以及大型地形结构、高程模式和土地覆盖分布。利用时序数据作为输入，该模型从跨时间的更广泛上下文信息中学习，使其能够利用时间依赖性，如地形特征、土地覆盖变化和季节动态。这些额外的约束减少了特征歧义，改进了表示学习，并使其能用更少的标注样本实现更好的泛化。该 foundation model 在多个下游任务上进行了评估，涵盖荷兰境内的用例到全球基准数据集。在荷兰的植被监测数据集上，该模型通过纳入时间信息而非依赖单一时间点，展现出明显的性能提升。尽管使用了较小的模型且预训练数据仅限于荷兰，但与 SOTA 模型相比，它在全球基准上取得了具竞争力的结果。这些结果表明，该模型能够从有限数据中学习丰富且可泛化的表示，在使用大型 SOTA 遥感模型一小部分参数的情况下，在全球基准上实现具竞争力的性能。为了最大化可复现性和重用性，我们已在 GitHub 上公开了脚本和模型。