余弦归一化注意力用于高光谱图像分类
计算机视觉与模式识别
2026-04-03 v1
摘要
基于 Transformer 的方法通过建模长程空间-光谱依赖关系改善了高光谱图像分类（HSIC）；然而，其注意力机制通常依赖点积相似度，这混合了特征幅度和方向，可能对高光谱数据不够理想。本工作从几何角度重新审视注意力评分，并引入了一种余弦归一化注意力公式，将相似度计算与高光谱签名的角度结构对齐。通过将查询和键嵌入投影到单位超球面上并应用平方余弦相似度，所提出的方法强调了角度关系，同时降低了对幅度变化的敏感性。该公式被集成到空间-光谱 Transformer 中，并在极少监督条件下进行评估。在三个基准数据集上的实验表明，所提出的方法持续取得了更高的性能，优于多个近期的 Transformer 和 Mamba 基线模型，尽管使用了轻量级骨干网络。此外，对多种注意力评分函数的控制分析表明，基于余弦的评分为高光谱表征学习提供了可靠的归纳偏置。
引用
@article{arxiv.2604.01763,
title = {Cosine-Normalized Attention for Hyperspectral Image Classification},
author = {Muhammad Ahmad and Manuel Mazzara},
journal= {arXiv preprint arXiv:2604.01763},
year = {2026}
}