更聪明地微调，而非更用力地微调：地理基石模型的参数高效微调
计算机视觉与模式识别
2025-06-16 v2
摘要
地球观测 (EO) 对监测环境变化、响应灾害和管理自然资源至关重要。在此背景下，基石模型促进遥感图像分析，以准确且高效的方式检索相关地理信息。然而，随着这些模型规模的增长，微调变得越来越具有挑战性，由于其计算资源和成本的增加，限制了其可及性和可扩展性。此外，完全微调可能导致遗忘预训练特征，甚至损害模型的泛化能力。为此，参数高效微调 (PEFT) 技术提供了有前景的解决方案。本文对各种基石模型架构和 PEFT 技术进行了广泛实验，以评估其在五个不同 EO 数据集上的有效性。我们的结果提供了全面的比较，为何时以及如何使用 PEFT 方法支持预训练地理模型的适应提供了见解。我们证明 PEFT 技巧可实现或超过完全微调的性能，并增强模型对未见地理区域的泛化能力，同时减少训练时间和内存需求。额外的实验探讨了架构选择的影响，如解码器类型或是否使用元数据，表明 UNet 解码器和不使用元数据的微调配置为推荐配置。我们将所有评估过的基石模型和技术集成到开源软件包 TerraTorch 中，以支持快速、可扩展且成本效益高的模型适应。
引用
@article{arxiv.2504.17397,
title = {Fine-tune Smarter, Not Harder: Parameter-Efficient Fine-Tuning for Geospatial Foundation Models},
author = {Francesc Marti-Escofet and Benedikt Blumenstiel and Linus Scheibenreif and Paolo Fraccaro and Konrad Schindler},
journal= {arXiv preprint arXiv:2504.17397},
year = {2025}
}
备注
Code available at https://github.com/IBM/peft-geofm