通过嵌入偏转实现地理空间基础模型的参数高效适配
计算机视觉与模式识别
2025-09-26 v2
摘要
随着大规模异构数据集日益可用，以低成本适配基础模型已成为关键问题。自然语言处理领域的开创性工作，例如低秩适配（LoRA），利用参数更新在适配过程中的低固有秩。在本文中，我们论证了在数据和模型中引入更强的归纳偏置可以增强地理空间基础模型（GFMs）——在RGB卫星图像上预训练的模型——向其他类型光学卫星数据的适配。具体而言，GFMs的预训练参数是多光谱图像空间结构的强先验。因此，我们提出了DEFLECT（Deflecting Embeddings for Finetuning Latent representations for Earth and Climate Tasks），一种以极少额外参数将GFMs适配到多光谱卫星影像的新策略。DEFLECT提升了提取特征的表示能力，特别增强了光谱信息，这对于地球科学和环境相关任务至关重要。我们在三个不同的GFMs和五个多样化数据集上展示了方法的有效性，涵盖从森林监测到海洋环境分割等任务。与竞争方法相比，DEFLECT在分类和分割任务上以5-10倍的更少参数达到了同等或更高的准确率。代码将公开发布。
引用
@article{arxiv.2503.09493,
title = {Parameter-Efficient Adaptation of Geospatial Foundation Models through Embedding Deflection},
author = {Romain Thoreau and Valerio Marsocci and Dawa Derksen},
journal= {arXiv preprint arXiv:2503.09493},
year = {2025}
}
备注
Published as a conference paper at ICCV 2025