一种用于高光谱图像分类的同步 CNN-Transformer 网络与池化注意力融合
计算机视觉与模式识别
2026-04-28 v1
摘要
在高光谱图像 (HSI) 分类任务中，需要将每个像素分类到特定的土地覆盖类别或材料。卷积神经网络 (CNN) 和变换器广泛用于从 HSI 中提取局部和非局部特征。近期工作利用多尺度视觉变换器 (ViT) 来增强光谱特征捕获并取得优异结果。然而，大多数现有方法仍面临在有效联合利用空间-光谱信息以及在传播过程中保持跨层信息方面的挑战。为此，我们提出了一种用于 HSI 分类的同步 CNN-Transformer 网络与池化注意力融合，该网络协同利用 CNN 和 ViT 分别处理空间和光谱特征。具体而言，我们提出了双分支特征提取 (TBFE) 模块，该模块并行使用 3D 和 2D 卷积来全面提取 HSI 的光谱和空间特征。设计了混合池化注意力 (HPA) 模块以聚合空间注意力。此外，采用级联变换器编码器进行全局光谱特征提取，并设计了一种简单而高效的跨层特征融合 (CFF) 模块以减少先前网络层中关键信息的损失。对多个代表性数据集进行大量实验，以证明我们所提出方法在诸多领先方法面前表现卓越。代码可在 https://github.com/chenpeng052/SCT-Net.git 获取。
引用
@article{arxiv.2604.23622,
title = {A Synergistic CNN-Transformer Network with Pooling Attention Fusion for Hyperspectral Image Classification},
author = {Peng Chen and Wenxuan He and Feng Qian and Guangyao Shi and Jingwen Yan},
journal= {arXiv preprint arXiv:2604.23622},
year = {2026}
}