MAPEX：面向遥感基础模型的模态感知专家剪枝
计算机视觉与模式识别
2025-07-11 v1
摘要
遥感数据通常用于洪水测绘、野火检测或土地利用研究等任务。对于每项任务，科学家会仔细选择合适的模态或利用专用仪器构建的数据。近期关于遥感基础模型的研究在大规模遥感数据上预训练计算机视觉模型。这些大规模模型往往侧重于特定模态，通常是光学RGB或多光谱数据。对于许多重要应用，这导致了应用模态与预训练数据之间的不匹配。此外，基础模型的大尺寸使其在通常较小的任务数据集上进行微调时成本高昂且困难。我们通过MAPEX来解决这种不匹配，这是一种基于模态混合专家的遥感基础模型。MAPEX在具有新颖的模态条件令牌路由机制的多模态遥感数据上进行预训练，该机制可激发模态特定的专家。为了将模型应用于特定任务，我们提出了一种模态感知剪枝技术，该技术仅保留针对任务模态特化的专家。这产生了高效的模态特定模型，同时简化了感兴趣模态的微调和部署。我们在多样化的遥感数据集上实验验证了MAPEX，并展示了与全监督训练和最先进的遥感基础模型相比的强劲性能。代码可在 https://github.com/HSG-AIML/MAPEX 获取。
引用
@article{arxiv.2507.07527,
title = {MAPEX: Modality-Aware Pruning of Experts for Remote Sensing Foundation Models},
author = {Joelle Hanna and Linus Scheibenreif and Damian Borth},
journal= {arXiv preprint arXiv:2507.07527},
year = {2025}
}