面向真实世界图像的自监督图像去噪与上下文感知Transformer

近年来，深度学习的发展将图像去噪推向了新的高度。其中，自监督去噪因无需任何先验知识而日益流行。现有大多数自监督方法基于卷积神经网络（CNN），受限于感受野的局部性，会导致色彩偏移或纹理丢失。本文提出一种用于真实世界图像去噪的新型去噪Transformer（Denoise Transformer），主要由上下文感知去噪Transformer（CADT）单元和次级噪声提取器（SNE）模块构成。CADT设计为双分支结构，其中全局分支采用基于窗口的Transformer编码器提取全局信息，而局部分支专注于以小感受野提取局部特征。通过将CADT作为基本组件，我们构建了一个分层网络，通过残差学习直接学习噪声分布信息并获得第一阶段去噪输出。随后，我们设计了低计算量的SNE用于次级全局噪声提取。最后，从去噪Transformer输出中收集盲点并重建，形成最终去噪图像。在真实世界SIDD基准上的大量实验取得了50.62/0.990的PSNR/SSIM，与当前最先进（SOTA）方法具有竞争力，仅低0.17/0.001。在公开sRGB、Raw-RGB和灰度数据集上的视觉对比证明，我们提出的去噪Transformer具有竞争性能，尤其在模糊纹理和低光照图像上，且未使用关于底层未知噪声的额外知识（如噪声水平或噪声类型）。