SeaMo：面向遥感的季节感知多模态基础模型
计算机视觉与模式识别
2025-04-22 v2 机器学习
摘要
遥感（RS）数据包含了对于地球观测所必需的丰富多维信息。其庞大的体积、多样化的来源以及时间上的连续性使其特别适合开发大型视觉基础模型（VFM）。这些模型作为强大的特征提取器，利用广泛的 RS 数据进行预训练，并在各种地球科学应用中进行后续微调。然而，现有的 RS 领域 VFM 常常只关注特定的图像特征，忽略了 RS 数据在季节感知方面的全部潜力。为弥合这一差距，我们引入 SeaMo，一种新型 VFM，有效地整合了 RS 多模态和多季节信息。SeaMo 利用掩码图像建模框架充分利用 RS 数据的空间、光谱和季节维度。具体而言，我们采用非一致的空间区域选择来捕获空间异质性，整合多源输入以实现更好的多模态集成，并引入时空多模态融合模块以有效融合季节变化。通过显式建模 RS 数据中复杂的、随季节变化的属性，SeaMo 增强了其在地球科学任务中的泛化、鲁棒性和适应性。广泛的实验和消融研究表明其卓越的性能，凸显了其作为地球观测基础模型的潜力。
引用
@article{arxiv.2412.19237,
title = {SeaMo: A Season-Aware Multimodal Foundation Model for Remote Sensing},
author = {Xuyang Li and Chenyu Li and Gemine Vivone and Danfeng Hong},
journal= {arXiv preprint arXiv:2412.19237},
year = {2025}
}