SpectralEarth-FM：将高光谱遥感影像引入多模态地球观测预训练
计算机视觉与模式识别
2026-05-21 v1 机器学习
摘要
地球观测（EO）基础模型正在训练多传感器数据，涵盖多光谱影像（MSI）、合成孔径雷达（SAR）和衍生地理层，但高光谱影像（HSI）仍被严重低估。相反，现有的高光谱基础模型仅在HSI上训练，尚未探索HSI与共位置EO传感器的联合预训练和融合。我们引入SpectralEarth-FM，这是一个针对多传感器EO输入具有异构光谱维度的分层变换器。该架构组合了高光谱输入的光谱标记化、传感器特定编码器、跨传感器融合模块和共享分层编码器，实现对HSI和低通道观察的联合处理。为进行预训练，我们整理了SpectralEarth-MM，将来自三个空间传感器（EnMAP、EMIT、DESIS）的HSI与Sentinel-2、Landsat-8/9光学影像、Landsat地表温度（LST）以及Sentinel-1 SAR共位置，覆盖相同的地理范围。数据集约为200万个全球分布位置，包含2500万个地理参考分块，超过40TB。预训练使用类似JEPA的目标，对全球视图和单一传感器局部视图的表示进行匹配。我们遵循PANGAEA协议在高光谱下游任务和标准EO基准上评估SpectralEarth-FM，取得了双重评估设置下的领先成绩。
引用
@article{arxiv.2605.21075,
title = {SpectralEarth-FM: Bringing Hyperspectral Imagery into Multimodal Earth Observation Pretraining},
author = {Nassim Ait Ali Braham and Aaron Banze and Conrad M. Albrecht and Julien Mairal and Jocelyn Chanussot and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2605.21075},
year = {2026}
}