基于空间-光谱循环 Transformer 的高光谱图像去噪
图像与视频处理
2024-05-14 v2 计算机视觉与模式识别
摘要
高光谱图像（HSIs）常常受到来自内部成像机制和环境因素的噪声影响。利用特定于高光谱图像的领域知识，如全局光谱相关性（GSC）和非局部空间自相似性（NSS），对于有效去噪至关重要。现有方法倾向于使用多个模块独立地利用这些知识成分，忽视了高光谱图像内在的三维特性，其中领域知识是紧密关联的，导致性能次优。为解决这一挑战，本文提出了一种用于高光谱图像去噪的空间-光谱循环 Transformer U-Net（SSRT-UNet）。所提出的 SSRT-UNet 在单个 SSRT 模块中集成了 NSS 和 GSC 特性。该模块由一个空间分支和一个光谱分支组成。光谱分支采用 Transformer 和循环神经网络的组合，跨波段执行循环计算，从而能够利用超出固定波段数的 GSC。同时，空间分支在 GSC 的引导下，通过与光谱分支共享键和值，为每个波段编码 NSS。这两个分支之间的这种交互使得 NSS 和 GSC 能够被联合利用，避免了它们的独立处理。实验结果表明，我们的方法优于几种替代方法。源代码将在 https://github.com/lronkitty/SSRT 上提供。
引用
@article{arxiv.2401.03885,
title = {Hyperspectral Image Denoising via Spatial-Spectral Recurrent Transformer},
author = {Guanyiman Fu and Fengchao Xiong and Jianfeng Lu and Jun Zhou and Jiantao Zhou and Yuntao Qian},
journal= {arXiv preprint arXiv:2401.03885},
year = {2024}
}