跨不相交样本的 Transformer 融合用于高光谱图像分类
计算机视觉与模式识别
2024-09-27 v1 图像与视频处理
摘要
3D Swin Transformer (3D-ST) 以其分层注意力和基于窗口的处理而闻名，擅长捕捉图像内复杂的空间关系。同时，空间-光谱 Transformer (SST) 专于通过自注意力机制建模长程依赖关系。因此，本文引入了一种新方法：对这两种 Transformer 进行注意力融合，以显著增强高光谱图像（HSI）的分类性能。该方法的独特之处在于强调融合两种架构的注意力机制。这种融合不仅精炼了空间和光谱信息的建模，还有助于实现更精确和准确的分类结果。对基准 HSI 数据集的实验和评估强调了采用不相交的训练、验证和测试样本的重要性。结果证明了融合方法的有效性，展示了其相对于传统方法和单一 Transformer 的优越性。结合不相交样本增强了所提方法的鲁棒性和可靠性，突显了其推进高光谱图像分类的潜力。
引用
@article{arxiv.2405.01095,
title = {Transformers Fusion across Disjoint Samples for Hyperspectral Image Classification},
author = {Muhammad Ahmad and Manuel Mazzara and Salvatore Distifano},
journal= {arXiv preprint arXiv:2405.01095},
year = {2024}
}