将 Transformer 嫁接于自动设计的卷积神经网络用于高光谱图像分类

高光谱图像（HSI）分类一直是近年来的研究热点，因为高光谱图像具有丰富的空间与光谱信息，为区分不同地表覆盖物提供了有力依据。受益于深度学习技术的发展，基于深度学习的 HSI 分类方法已取得令人瞩目的性能。近来，若干神经架构搜索（NAS）算法被提出用于 HSI 分类，进一步将 HSI 分类精度提升至新高度。本文首次将 NAS 与 Transformer 结合用于处理 HSI 分类任务。与以往工作相比，所提方法有两个主要不同。第一，我们重新审视先前 HSI 分类 NAS 方法中设计的搜索空间，提出一种由空间主导单元与光谱主导单元组成的新型混合搜索空间。相较于已有工作的搜索空间，该混合搜索空间更契合 HSI 数据特征，即 HSI 空间分辨率相对较低而光谱分辨率极高。第二，为进一步提升分类精度，我们尝试将新兴的 transformer 模块嫁接于自动设计的卷积神经网络（CNN）上，为 CNN 学习的聚焦局部区域特征补充全局信息。在三个公开 HSI 数据集上的实验表明，所提方法优于对比方法（包括手动设计网络与基于 NAS 的 HSI 分类方法）。尤其在最新采集的 Houston University 数据集上，总体精度提升了近 6 个百分点。代码见：https://github.com/Cecilia-xue/HyT-NAS。