基于Swin-Conv-UNet与数据合成的实际盲图像去噪
计算机视觉与模式识别
2023-12-04 v4 图形学
图像与视频处理
摘要
尽管近年来利用深度神经网络解决图像去噪问题急剧增多，现有方法大多依赖简单噪声假设，如加性白高斯噪声（AWGN）、JPEG压缩噪声和相机传感器噪声，而面向真实图像的通用盲去噪方法仍待解决。本文尝试从网络架构设计与训练数据合成的角度解决该问题。具体而言，在网络架构设计上，我们提出swin-conv块以结合残差卷积层的局部建模能力与swin transformer块的非局部建模能力，并将其作为主构建块嵌入广泛使用的图像到图像翻译UNet架构。在训练数据合成上，我们设计了一种实用噪声退化模型，考虑不同种类噪声（包括高斯、泊松、散斑、JPEG压缩及处理后的相机传感器噪声）与缩放，并引入随机打乱策略与双重退化策略。在AGWN去除与真实图像去噪上的大量实验表明，新网络架构设计取得了最先进性能，新退化模型可显著增强实用性。我们相信本研究能为当前去噪研究提供有益见解。
引用
@article{arxiv.2203.13278,
title = {Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis},
author = {Kai Zhang and Yawei Li and Jingyun Liang and Jiezhang Cao and Yulun Zhang and Hao Tang and Deng-Ping Fan and Radu Timofte and Luc Van Gool},
journal= {arXiv preprint arXiv:2203.13278},
year = {2023}
}
备注
Codes: https://github.com/cszn/SCUNet