CSMoE：一种高效的遥感基础模型，集成软混合专家
计算机视觉与模式识别
2025-09-18 v1
摘要
通过掩码自编码器实现的自监督学习已引起对遥感 (RS) 基础模型 (FM) 开发的广泛关注，使其能够在多样化传感器和下游任务上实现改进的表征学习。然而，现有的 RS FMs 要么在训练和推理期间受到显著计算复杂度的制约，要么在表征容量方面有限，这些问题限制了其在 RS 领域的实际应用性。为解决这一限制，我们提出了一种用于增强 RS FMs 效率的适应方法，通过将软混合专家 (MoE) 机制集成到 FM 中。将软 MoE 集成到 FM 中允许特定模态的专家专业化，同时进行跨传感器的共享表征学习。为证明该适应方法的有效性，我们将其应用于 Cross-Sensor Masked Autoencoder (CSMAE) 模型， resulting in Cross-Sensor Mixture-of-Experts (CSMoE) 模型。此外，我们引入一种由主题-气候描述符驱动的抽样策略，用于构建具有代表性和多样性的训练集以训练 CSMoE 模型。针对场景分类、语义分割和基于内容的图像检索进行大量实验，表明我们的适应方法在保持或提高表征性能的同时显著减少了计算需求。与当前最先进的 RS FMs 相比，CSMoE 在表征容量、准确性和计算效率之间实现了卓越的权衡。平均而言，CSMoE 在计算效率上优于现有 RS FMs 的两倍以上，同时在所有实验中保持竞争性能。这些结果表明了该适应方法对于创建高效 RS FMs 的有效性。该模型的代码、训练集创建方式以及模型权重将在 https://git.tu-berlin.de/rsim/csmoe 提供。
引用
@article{arxiv.2509.14104,
title = {CSMoE: An Efficient Remote Sensing Foundation Model with Soft Mixture-of-Experts},
author = {Leonard Hackel and Tom Burgert and Begüm Demir},
journal= {arXiv preprint arXiv:2509.14104},
year = {2025}
}