用于图像去噪的空间-频率注意力
计算机视觉与模式识别
2023-02-28 v1
摘要
近年来发展的 transformer 网络通过利用图像中的自注意力(SA)在图像去噪中取得了令人印象深刻的性能。然而，现有方法由于 SA 的二次复杂度大多使用较小的窗口来计算 SA，这限制了模型建模长期图像信息的能力。本文中，我们提出空间-频率注意力网络(SFANet)以增强网络利用长程依赖的能力。对于空间注意力模块(SAM)，我们采用空洞 SA 来建模长程依赖。在频率注意力模块(FAM)中，我们通过使用快速傅里叶变换(FFT)并利用所设计的基于窗口的频率通道注意力(WFCA)块来挖掘更多全局信息，以有效建模深层频率特征及其依赖关系。为使我们的模块适用于不同尺寸的图像并保持训练与推理间的一致性，我们应用了具有一组固定窗口尺寸的基于窗口的 FFT。此外，通道注意力在傅里叶谱的实部与虚部分别计算，进一步提升了复原性能。所提 WFCA 块能以可接受的复杂度有效建模图像长程依赖。在多个去噪基准上的实验证明了 SFANet 网络的领先性能。
引用
@article{arxiv.2302.13598,
title = {Spatial-Frequency Attention for Image Denoising},
author = {Shi Guo and Hongwei Yong and Xindong Zhang and Jianqi Ma and Lei Zhang},
journal= {arXiv preprint arXiv:2302.13598},
year = {2023}
}