轻量级元数据感知专家混合掩码自编码器用于地球观测
计算机视觉与模式识别
2025-09-16 v1 机器学习
摘要
地球观测领域的最新进展聚焦于大规模基础模型。然而，这些模型计算成本高昂，限制了其在下游任务中的可访问性和可复用性。在本工作中，我们研究紧凑架构作为迈向更小通用地球观测模型的实用路径。我们提出了一种元数据感知专家混合掩码自编码器（MoE-MAE），仅含 250 万参数。该模型结合稀疏专家路由与地理时间条件化，将图像与经纬度及季节/日周期编码相结合。我们在 BigEarthNet-Landsat 数据集上预训练 MoE-MAE，并通过线性探针评估其冻结编码器的嵌入。尽管模型规模较小，但其性能与更大架构相当，证明了元数据感知预训练改善了迁移和标签效率。为进一步评估泛化能力，我们在缺乏显式元数据的 EuroSAT-Landsat 数据集上进行评估，仍观察到与数亿参数模型相比具有竞争力的性能。这些结果表明，紧凑的元数据感知 MoE-MAE 是迈向未来地球观测基础模型的高效且可扩展的一步。
引用
@article{arxiv.2509.10919,
title = {Lightweight Metadata-Aware Mixture-of-Experts Masked Autoencoder for Earth Observation},
author = {Mohanad Albughdadi},
journal= {arXiv preprint arXiv:2509.10919},
year = {2025}
}