中文

NM-FlowGAN:使用归一化流和GAN的混合方法无需配对图像建模sRGB噪声

计算机视觉与模式识别 2024-11-01 v3 机器学习 图像与视频处理

摘要

建模和合成真实的sRGB噪声对于各种低级视觉任务至关重要,例如构建用于训练图像去噪系统的数据集。真实sRGB噪声的分布极其复杂,受多种因素影响,使其精确建模极具挑战性。因此,近期研究提出了采用数据驱动生成模型(如生成对抗网络(GAN)和归一化流)的方法。与传统噪声建模方法相比,这些研究实现了更精确的sRGB噪声建模。然而,由于每种生成模型的固有特性,存在性能限制。为解决此问题,我们提出了NM-FlowGAN,一种利用GAN和归一化流优势的混合方法。我们结合了基于归一化流的逐像素噪声建模网络和基于GAN的空间相关性建模网络。具体而言,逐像素噪声建模网络利用归一化流的高训练稳定性来捕获受多种因素影响的噪声特性,而空间相关性网络则高效地建模像素间关系。特别地,与依赖配对噪声图像的近期方法不同,我们的方法使用干净图像和影响噪声特性的因素(如易于获取的相机类型和ISO设置参数)来合成噪声,使其适用于无法获得噪声-干净图像对的各个领域。在我们的实验中,我们的NM-FlowGAN在sRGB噪声合成任务中优于其他基线。此外,使用我们模型合成的图像对训练的去噪神经网络表现出优于其他基线的性能。我们的代码可在\url{https://github.com/YoungJooHan/NM-FlowGAN}获取。

关键词

引用

@article{arxiv.2312.10112,
  title  = {NM-FlowGAN: Modeling sRGB Noise without Paired Images using a Hybrid Approach of Normalizing Flows and GAN},
  author = {Young Joo Han and Ha-Jin Yu},
  journal= {arXiv preprint arXiv:2312.10112},
  year   = {2024}
}

备注

13 pages, 10 figures, 8 tables