DiffFormer：用于高光谱图像分类的差分空间-频谱变换器
计算机视觉与模式识别
2025-04-15 v1
摘要
高光谱图像分类（HSIC）因其在分析具有丰富光谱和空间信息的高维数据方面的潜力而受到广泛关注。本文提出差分空间-频谱变换器（DiffFormer），一种新型框架旨在解决HSIC的内在挑战，如光谱冗余和空间不连续性。DiffFormer利用差分多头自注意力（DMHSA）机制，通过对相邻光谱-空间块的细微变化进行差分注意力，从而增强局部特征辨别。该架构通过三维（3D）卷积基于分块的嵌入、位置编码和配备SWiGLU激活函数的变换器层堆叠实现光谱-空间分词，SWiGLU是门控线性单元（GLU）激活函数的一个变体。基于标记的分类头进一步确保了稳健的表征学习，实现对高光谱像元的精确标记。广泛的基准数据集上的实验表明，DiffFormer在分类准确率、计算效率和通用性方面均优于现有最先进（SOTA）方法。此外，本工作详细分析了计算复杂度，展示了该模型在大规模遥感应用中的可扩展性。源代码将在第一轮修订后公开于\url{https://github.com/mahmad000/DiffFormer}。
引用
@article{arxiv.2412.17350,
title = {DiffFormer: a Differential Spatial-Spectral Transformer for Hyperspectral Image Classification},
author = {Muhammad Ahmad and Manuel Mazzara and Salvatore Distefano and Adil Mehmood Khan and Silvia Liberata Ullo},
journal= {arXiv preprint arXiv:2412.17350},
year = {2025}
}