SpectralFormer：用Transformer重新思考高光谱图像分类
计算机视觉与模式识别
2022-05-04 v2 人工智能
摘要
高光谱(HS)图像以近似连续的光谱信息为特征，能够通过捕获细微光谱差异实现材料的精细识别。由于其优异的局部上下文建模能力，卷积神经网络(CNNs)已被证明是HS图像分类中强大的特征提取器。然而，由于其固有网络骨干的局限性，CNNs未能很好地挖掘和表示光谱签名的序列属性。为解决此问题，我们从序列角度用transformers重新思考HS图像分类，并提出一种称为\ul{SpectralFormer}的新型骨干网络。除经典transformers中的逐带表示外，SpectralFormer能够从高光谱图像相邻波段学习光谱局部序列信息，产生组级光谱嵌入。更重要的是，为减少在层间传播过程中丢失有价值信息的可能性，我们设计了一种跨层跳跃连接，通过自适应学习融合跨层的“软”残差，将类记忆组件从浅层传递到深层。值得注意的是，所提出的SpectralFormer是一种高度灵活的骨干网络，可适用于逐像素和逐块输入。我们在三个HS数据集上通过广泛实验评估了所提出SpectralFormer的分类性能，显示了相对于经典transformers的优越性，并与最先进骨干网络相比实现了显著改进。本工作的代码将于https://github.com/danfenghong/IEEE_TGRS_SpectralFormer提供以保证可复现性。
引用
@article{arxiv.2107.02988,
title = {SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers},
author = {Danfeng Hong and Zhu Han and Jing Yao and Lianru Gao and Bing Zhang and Antonio Plaza and Jocelyn Chanussot},
journal= {arXiv preprint arXiv:2107.02988},
year = {2022}
}