SIMPLER：面向地球观测的基于相似性引导的高效基础模型适配层级剪枝
计算机视觉与模式识别
2026-03-23 v1
摘要
为地球观测微调基础模型计算成本高昂，训练和部署都面临高昂的时间和内存需求。参数高效方法可降低训练成本，但保留完整的推理复杂度；后验压缩仅在高成本完整微调后优化推理。我们引入 SIMPLER，一种微调前的架构选择方法，通过识别适用于适应性的有效模型深度来降低推理和部署成本。SIMPLER 利用更深层次预训练视觉变换器中表示的稳定性：它计算基于无标签任务数据上的层级表示相似性，并应用自动化评分函数来选择冗余层次，不需要梯度、幅值启发式或超参数调优。在 Prithvi-EO-2 上，SIMPLER 可削减最高 79% 的参数，同时保留 94% 的基线性能，实现 2.1 倍训练加速和 2.6 倍推理加速。该方法可推广至 TerraMind（一种多模态 EO 基础模型）和 ImageNet 预训练的 ViT-MAE，展示了在任务、架构和光谱模态方面的广泛适用性。代码可在 https://gitlab.citius.gal/hpc4rs/simpler 获取。
引用
@article{arxiv.2603.19873,
title = {SIMPLER: Efficient Foundation Model Adaptation via Similarity-Guided Layer Pruning for Earth Observation},
author = {Víctor Barreiro and Johannes Jakubik and Francisco Argüello and Dora B. Heras},
journal= {arXiv preprint arXiv:2603.19873},
year = {2026}
}