用于高光谱图像分类的双选择性融合变换器网络
计算机视觉与模式识别
2025-02-27 v3
摘要
变换器在高光谱图像（HSI）分类领域取得了令人满意的效果。然而，现有变换器模型在处理由多样化土地覆盖类型和丰富光谱信息构成的HSI场景时面临两个关键挑战：（1）固定的感受野忽略了各种HSI对象所需的有效上下文尺度；（2）无效的自注意力特征在上下文融合中会影响模型性能。为解决这些限制，我们提出一种新型双选择性融合变换器网络（DSFormer），用于HSI分类。DSFormer通过灵活选择和融合不同感受野上的特征，实现空间和光谱上下文的联合建模，有效减少不必要信息的干扰，专注于最相关的空间-光谱标记。具体而言，我们设计了核选择性融合变换器块（KSFTB），通过自适应融合不同尺度上的空间和光谱特征来学习最佳感受野，增强模型准确识别多样化HSI对象的能力。此外，我们引入了标记选择性融合变换器块（TSFTB），在空间-光谱自注意力融合过程中战略性地选择和组合关键标记，以捕获最关键的上下文。在四个基准HSI数据集上进行的大量实验表明，所提出的DSFormer显著提升了土地覆盖分类准确率，优于现有最先进方法。具体而言，DSFormer在Pavia University、Houston、Indian Pines和Whu-HongHu数据集上分别实现了96.59%、97.66%、95.17%和94.59%的总体准确率，分别比前一模型提高了3.19%、1.14%、0.91%和2.80%。该代码将在https://github.com/YichuXu/DSFormer 上线。
引用
@article{arxiv.2410.03171,
title = {Dual Selective Fusion Transformer Network for Hyperspectral Image Classification},
author = {Yichu Xu and Di Wang and Lefei Zhang and Liangpei Zhang},
journal= {arXiv preprint arXiv:2410.03171},
year = {2025}
}
备注
Accepted by Neural Networks 2025