具有引导注意力的混合光谱去噪Transformer
计算机视觉与模式识别
2023-08-09 v2 图像与视频处理
摘要
本文提出一种用于高光谱图像去噪的混合光谱去噪Transformer（HSDT）。将Transformer应用于高光谱图像（HSI）的挑战在于，如何在保持效率与灵活性的同时，克服基于CNN的方法在捕获全局与局部空间-光谱相关性方面的现有局限。为解决这些问题，我们引入一种混合方法，结合两类模型的优势，采用空间-光谱可分离卷积（S3Conv）、引导光谱自注意力（GSSA）与自调制前馈网络（SM-FFN）。我们的S3Conv作为3D卷积的轻量替代，在保持处理任意波段数HSI的灵活性的同时，提取更具空间-光谱相关性的特征。随后这些特征由GSSA自适应处理，该模块在一组编码光谱特征的可学习查询引导下，跨光谱波段执行3D自注意力。这不仅赋予模型识别全局光谱相关性的强大能力，还保持了线性复杂度。此外，我们的SM-FFN提出自调制机制，增强信息更丰富区域的激活，进一步强化聚合特征。我们在模拟与真实噪声下的多个数据集上进行了充分实验，结果表明我们的HSDT在保持低计算开销的同时，显著优于现有最先进方法。代码见 https://github.com/Zeqiang-Lai/HSDT。
引用
@article{arxiv.2303.09040,
title = {Hybrid Spectral Denoising Transformer with Guided Attention},
author = {Zeqiang Lai and Chenggang Yan and Ying Fu},
journal= {arXiv preprint arXiv:2303.09040},
year = {2023}
}
备注
ICCV 2023