轻量级谱空间融合转换器：SSFT 用于通用高光谱分类
计算机视觉与模式识别
2026-04-20 v1
摘要
高光谱成像通过捕获丰富的光谱特征实现对材料的精细识别，但学习鲁棒分类器具有挑战，由于高维度、光谱冗余、有限标注数据以及强域迁移。除地球观测外，标注的高光谱数据往往稀缺且不平衡，激励跨不同获取 regime 使用紧凑模型进行通用高光谱分类。我们提出了轻量级谱空间融合转换器（SSFT），将表示学习分解为光谱路径和空间路径，并通过跨注意力集成以捕获与波长相关和结构信息的互补信息。我们在具有挑战性的 HSI-Benchmark 上评估了 SSFT，该基准涵盖地球观测、果实状态评估和细粒度材料识别。SSFT 实现了最高的整体性能，在使用前所领先方法的参数量的 less than 2% 时排名第一。我们进一步在遵循官方协议的规模更大的 SpectralEarth 数据集上进行迁移评估，SSFT 尽管紧凑仍保持竞争性能。消融研究表明，光谱和空间路径都至关重要，其中空间建模贡献最大，SSFT 在无数据增强情况下仍保持鲁棒性。
引用
@article{arxiv.2604.15828,
title = {SSFT: A Lightweight Spectral-Spatial Fusion Transformer for Generic Hyperspectral Classification},
author = {Alexander Musiat and Nikolas Ebert and Oliver Wasenmüller},
journal= {arXiv preprint arXiv:2604.15828},
year = {2026}
}
备注
This paper has been accepted at IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2026