通过像素级噪声感知对抗训练学习生成真实含噪图像
计算机视觉与模式识别
2022-09-16 v2 图像与视频处理
摘要
现有的深度学习真实去噪方法需要大量含噪-干净图像对进行监督。然而，采集真实含噪-干净数据集是昂贵且繁琐到不可接受的过程。为缓解此问题，本工作研究如何生成真实含噪图像。首先，我们建立了一个简单而合理的噪声模型，将每个真实含噪像素视为随机变量。该模型将含噪图像生成问题拆分为两个子问题：图像域对齐与噪声域对齐。随后，我们提出一种新框架，即像素级噪声感知生成对抗网络（PNGAN）。PNGAN 采用预训练的真实去噪器将虚假与真实含噪图像映射到近似无噪的解空间以执行图像域对齐。同时，PNGAN 建立像素级对抗训练以进行噪声域对齐。此外，为更好地拟合噪声，我们提出了一种高效架构简单多尺度网络（SMNet）作为生成器。定性验证表明，PNGAN 生成的噪声在强度与分布上均与真实噪声高度相似。定量实验证明，使用所生成含噪图像训练的一系列去噪器在四个真实去噪基准上取得了最先进（SOTA）结果。部分代码、预训练模型与结果发布于 https://github.com/caiyuanhao1998/PNGAN 以供比较。
引用
@article{arxiv.2204.02844,
title = {Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training},
author = {Yuanhao Cai and Xiaowan Hu and Haoqian Wang and Yulun Zhang and Hanspeter Pfister and Donglai Wei},
journal= {arXiv preprint arXiv:2204.02844},
year = {2022}
}
备注
NeurIPS 2021