对模糊、噪声与压缩鲁棒的生成对抗网络
计算机视觉与模式识别
2021-06-24 v2 机器学习
图像与视频处理
机器学习
摘要
生成对抗网络（GANs）因其重现图像的能力而受到相当关注。然而，尽管图像存在模糊、噪声和压缩形式的退化，它们仍能忠实地重现训练图像，生成类似退化的图像。为解决此问题，近期提出的噪声鲁棒 GAN（NR-GAN）提供了一个部分解决方案，其通过使用由图像生成器和噪声生成器组成的两生成器模型，展示了直接从噪声图像中学习干净图像生成器的能力。然而，它的应用仅限于噪声，由于噪声具有加性和可逆特性而相对容易分解，而其应用于不可逆图像退化（以模糊、压缩及三者组合的形式）仍是一个挑战。为解决这些问题，我们提出模糊、噪声与压缩鲁棒 GAN（BNCR-GAN），它可以在不知晓退化参数（例如模糊核类型、噪声量或质量因子值）的情况下，直接从退化图像中学习干净图像生成器。受 NR-GAN 启发，BNCR-GAN 使用由图像、模糊核、噪声和质量因子生成器组成的多生成器模型。然而，与 NR-GAN 不同，为应对不可逆特性，我们引入了掩蔽架构，在退化前后利用旁路以数据驱动方式调整退化强度值。此外，为抑制由模糊、噪声和压缩组合引起的不确定性，我们引入了自适应一致性损失，根据退化强度在不可逆退化过程之间施加一致性。我们通过在 CIFAR-10 上的大规模对比研究以及在 FFHQ 上的泛化性分析证明了 BNCR-GAN 的有效性。此外，我们展示了 BNCR-GAN 在图像复原中的适用性。
引用
@article{arxiv.2003.07849,
title = {Blur, Noise, and Compression Robust Generative Adversarial Networks},
author = {Takuhiro Kaneko and Tatsuya Harada},
journal= {arXiv preprint arXiv:2003.07849},
year = {2021}
}
备注
Accepted to CVPR 2021. Project page: https://takuhirok.github.io/BNCR-GAN/