使用自一致 GAN 的无监督图像噪声建模
计算机视觉与模式识别
2020-06-05 v3 图像与视频处理
摘要
噪声建模是许多图像处理任务的核心。然而，现有的噪声建模深度学习方法通常需要干净和含噪图像对进行模型训练；在许多现实场景中，这些图像对很难获取。为了改善这一问题，我们提出了一种自一致 GAN (SCGAN)，可以直接从含噪图像中提取噪声图，从而实现无监督噪声建模。具体而言，SCGAN 引入了三个相互补充的新颖自一致约束，即：噪声模型在干净输入上应产生零响应；当输入特定的纯噪声时，噪声模型应返回相同的输出；如果将噪声图添加到干净图像上，噪声模型也应能重新提取出纯噪声图。这三个约束简单而有效。它们共同促进了对各种噪声类型的噪声模型的无监督学习。为了展示其广泛的适用性，我们将 SCGAN 部署在三个图像处理任务中，包括盲图像去噪、雨纹去除和含噪图像超分辨率。结果表明，即使在噪声类型差异显著且无法获得成对干净图像的情况下，我们的方法在多种基准数据集上也展现出了相对于 SOTA 方法的有效性和优越性。
引用
@article{arxiv.1906.05762,
title = {Unsupervised Image Noise Modeling with Self-Consistent GAN},
author = {Hanshu Yan and Xuan Chen and Vincent Y. F. Tan and Wenhan Yang and Joe Wu and Jiashi Feng},
journal= {arXiv preprint arXiv:1906.05762},
year = {2020}
}