面向近端和遥端光谱成像的通用光谱基础模型
计算机视觉与模式识别
2025-03-04 v1
摘要
通过多光谱和高光谱相机获取的光谱成像数据可拥有数百个通道，其中每个通道记录特定波长和带宽的反射率。时间和资源限制使我们无法收集大规模光谱数据集，这使得从头构建和训练预测模型变得困难。在 RGB 领域，我们经常可以通过使用预训练的基础模型作为起点来缓解小数据集的一些限制。然而，大多数现有基础模型是在来自 3 通道 RGB 图像的大型数据集上预训练的，这严重限制了其在与光谱成像数据一起使用时的数据有效性。已存在的少数光谱基础模型通常具有两种限制之一：（1）它们仅在遥端成像数据上构建和训练，限制了其在近端光谱成像中的应用；（2）它们利用较为广泛的多光谱成像数据集，其中包含不足 15 个通道，这限制了其处理百通道高光谱图像的能力。为缓解此问题，本文提出了一个大规模基础模型和数据集，基于掩码自编码器架构，利用光谱通道编码、空间-光谱掩码和 ImageNet 预训练，构建了一个具有适应性和鲁健性的下游光谱成像任务模型。
引用
@article{arxiv.2503.01628,
title = {A General Purpose Spectral Foundational Model for Both Proximal and Remote Sensing Spectral Imaging},
author = {William Michael Laprade and Jesper Cairo Westergaard and Svend Christensen and Mads Nielsen and Anders Bjorholm Dahl},
journal= {arXiv preprint arXiv:2503.01628},
year = {2025}
}