SpectralGPT：光谱遥感基础模型
计算机视觉与模式识别
2024-02-13 v3
摘要
基础模型近期因有望以自监督方式变革视觉表征学习领域而备受关注。尽管多数基础模型专为有效处理 RGB 图像以服务各类视觉任务而设计，但针对光谱数据的研究明显不足，而光谱数据可为场景理解提供宝贵信息，尤其在遥感（RS）应用中。为填补此空白，我们首次创建了名为 SpectralGPT 的通用遥感基础模型，其专为处理光谱遥感图像而构建，采用新颖的 3D 生成式预训练 transformer（GPT）。相较现有基础模型，SpectralGPT 1）以渐进式训练方式容纳不同尺寸、分辨率、时间序列和区域的输入图像，充分利用于海量遥感大数据；2）利用 3D token 生成实现空间-光谱耦合；3）通过多目标重建捕捉光谱序列模式；4）基于一百万张光谱遥感图像训练，产生参数量超 6 亿的模型。我们的评估凸显了预训练 SpectralGPT 模型的显著性能提升，表明其在地球科学领域推进光谱遥感大数据应用方面潜力巨大，涵盖四项下游任务：单/多标签场景分类、语义分割与变化检测。
引用
@article{arxiv.2311.07113,
title = {SpectralGPT: Spectral Remote Sensing Foundation Model},
author = {Danfeng Hong and Bing Zhang and Xuyang Li and Yuxuan Li and Chenyu Li and Jing Yao and Naoto Yokoya and Hao Li and Pedram Ghamisi and Xiuping Jia and Antonio Plaza and Paolo Gamba and Jon Atli Benediktsson and Jocelyn Chanussot},
journal= {arXiv preprint arXiv:2311.07113},
year = {2024}
}
备注
Accepted by IEEE TPAMI