EoS-FM：专家模型群体能否作为通用特征提取器？
计算机视觉与模式识别
2026-04-02 v3
摘要
最近的基础模型在自然语言处理和计算机视觉等领域取得了显著进展，类似的努力正在地球观测社区中崭露头角。这些模型旨在以有限的监督信息跨任务进行泛化，从而减少为每个任务单独训练模型的需求。然而，当前的策略主要集中在扩大模型规模和数据集规模，需要巨大的计算和数据资源，限制了只有少数大型机构才能访问。此外，这种不断增大的模型范式与可持续和环境负责的AI原则截然相反，导致巨大的碳足迹和资源低效。在本工作中，我们提出了一种新颖且高效的替代方案：为构建遥感基础模型(RSFMs)所需的专家模型组成框架。我们的方法将训练过程分解为轻量级、任务特定的ConvNeXtV2专家模型，这些模型可以被冻结并重用。这种模块化方法在效率、可解释性和可扩展性方面具有显著优势。此外，它自然支持联邦训练、剪枝和持续的专家集成，特别适合于协作和资源受限的环境。我们的框架为构建可扩展且高效的RSFMs开辟了新的方向。所有代码和预训练模型均可在GitHub仓库https://github.com/pierreadorni/EoS-FM 上公开获取。
引用
@article{arxiv.2511.21523,
title = {EoS-FM: Can an Ensemble of Specialist Models act as a Generalist Feature Extractor?},
author = {Pierre Adorni and Minh-Tan Pham and Stéphane May and Sébastien Lefèvre},
journal= {arXiv preprint arXiv:2511.21523},
year = {2026}
}