RingMoE：面向通用遥感图像解译的混合模态专家多模态基础模型
计算机视觉与模式识别
2025-12-11 v2
摘要
基础模型的快速发展以自监督方式彻底改变了视觉表示学习。然而，它们在遥感（RS）中的应用仍受制于一个根本性差距：现有模型主要处理单一或有限模态，忽视了RS观测固有的多模态特性。光学、合成孔径雷达（SAR）和多光谱数据提供了互补的见解，显著降低了单源分析中固有的模糊性和不确定性。为弥合这一差距，我们引入RingMoE，一个统一的多模态RS基础模型，拥有147亿参数，在来自九颗卫星的4亿多模态RS图像上进行了预训练。RingMoE包含三项关键创新：（1）分层混合专家（MoE）架构，包含模态专用专家、协作专家和共享专家，有效建模模态内知识同时捕获跨模态依赖，以缓解模态表示之间的冲突；（2）物理信息自监督学习，将传感器特定的辐射特性显式嵌入预训练目标；（3）动态专家剪枝，实现从147亿到10亿参数的自适应模型压缩同时保持性能，促进在地球观测应用中的高效部署。在涵盖六项关键RS任务（即分类、检测、分割、跟踪、变化检测和深度估计）的23个基准上进行评估，RingMoE优于现有基础模型并设立了新的最先进水平，展示了从单模态到多模态场景的卓越适应性。除了理论进展，它已在多个领域部署和试用，包括应急响应、土地管理、海洋科学和城市规划。
引用
@article{arxiv.2504.03166,
title = {RingMoE: Mixture-of-Modality-Experts Multi-Modal Foundation Models for Universal Remote Sensing Image Interpretation},
author = {Hanbo Bi and Yingchao Feng and Boyuan Tong and Mengyu Wang and Haichen Yu and Yongqiang Mao and Hao Chang and Wenhui Diao and Peijin Wang and Yue Yu and Hanyang Peng and Yehong Zhang and Kun Fu and Xian Sun},
journal= {arXiv preprint arXiv:2504.03166},
year = {2025}
}