SpectralX：面向光谱遥感基础模型的参数高效领域泛化
计算机视觉与模式识别
2025-08-05 v1
摘要
近期遥感基础模型 (RSFMs) 的进展带来了显著的突破。虽然许多 RSFMs 已使用大量光学遥感图像进行预训练，但更多的多光谱/高光谱数据缺乏相应的基础模型。为充分利用地球观测中光谱图像的优势，我们探讨了现有 RSFMs 是否能有效适应处理多样化光谱模态，而无需大规模光谱预训练。在应对这一挑战方面，我们提出了 SpectralX，一种创新的参数高效微调框架，用于在保留现有 RSFMs 作为主干网络的同时，引入两阶段训练方法以处理各种光谱输入，从而显著提高领域泛化性能。在第一个阶段，我们采用掩码重建任务，设计了专门的超级标记化器 (Hyper Tokenizer, HyperT) 从空间和光谱维度提取属性标记。同时，我们开发了面向属性的混合适配器 (Attribute-oriented Mixture of Adapter, AoMoA)，动态聚合多属性专家知识，同时进行层级微调。在第二个阶段以语义分割为下游任务，我们插入属性优化适配器 (Attribute-refined Adapter, Are-adapter) 到第一个阶段框架中。通过迭代查询低层语义特征与高层表征，模型学习聚焦于有益于任务的属性，实现对 RSFMs 的定制化调整。遵循此双阶段适应过程后，SpectralX 能够解释来自新地区或新季节的光谱图像。代码将在网站 https://github.com/YuxiangZhang-BIT 提供。
引用
@article{arxiv.2508.01731,
title = {SpectralX: Parameter-efficient Domain Generalization for Spectral Remote Sensing Foundation Models},
author = {Yuxiang Zhang and Wei Li and Mengmeng Zhang and Jiawei Han and Ran Tao and Shunlin Liang},
journal= {arXiv preprint arXiv:2508.01731},
year = {2025}
}