基于新型 CNN-Transformer 方法提升高光谱图像分类性能：引入 Gate-Shift-Fuse 机制
计算机视觉与模式识别
2024-10-04 v3
摘要
在对高光谱图像(HSI)进行分类时，每个像素样本都被归类为地覆盖类型。基于 CNN 的技术在该领域取得了显著进展，凭借擅长的特征表示能力。然而，获取深层特征仍然是这些 CNN 方法面临的挑战。相比之下，变换模型擅长提取高层语义特征，提供了互补的优势。本文的主要贡献是引入一种 HSI 分类模型，包含两个卷积模块、一个 Gate-Shift-Fuse (GSF) 模块和一个变换模块。该模型利用 CNN 在局部特征提取方面的优势以及变换在长程上下文建模方面的优势。GSF 模块旨在加强局部和全局空域-光谱特征的提取。还提出了一个有效的注意力机制模块，以增强从 HSI 立方体中获取信息的能力。对该方法在四个著名数据集（印度坡、帕利亚大学、WHU-WHU-Hi-LongKou 和 WHU-Hi-HanChuan）上的评估结果表明，该框架的性能优于其他模型。
引用
@article{arxiv.2406.14120,
title = {Boosting Hyperspectral Image Classification with Gate-Shift-Fuse Mechanisms in a Novel CNN-Transformer Approach},
author = {Mohamed Fadhlallah Guerri and Cosimo Distante and Paolo Spagnolo and Fares Bougourzi and Abdelmalik Taleb-Ahmed},
journal= {arXiv preprint arXiv:2406.14120},
year = {2024}
}