用于图像合成与补全的像素级条件生成对抗网络
图像与视频处理
2020-02-05 v1 计算机视觉与模式识别
机器学习
摘要
生成对抗网络（GANs）已在无监督图像生成中证明成功。若干工作通过将生成以待重建图像的部分为条件，扩展了 GANs 至图像修复。尽管成功，这些方法在仅预先已知图像像素的很小子集的场景中存在局限。本文中我们研究了在仅提供极少像素值时条件化 GANs 的有效性。我们提出了一个建模框架，其结果为在 GAN 目标函数中加入显式代价项以强制像素级条件化。我们研究了该正则化项对生成图像质量及给定像素约束满足程度的影响。利用近期的 PacGAN 技术，我们确保保持生成样本的多样性。在 FashionMNIST 上的实验表明，该正则化项有效控制了生成图像质量与条件化之间的权衡。在 CIFAR-10 与 CelebA 数据集上的实验评估证明，我们的方法在视觉上和以 Fréchet Inception Distance 衡量的定量上均取得准确结果，同时仍强制像素条件化。我们还使用全卷积网络在纹理图像生成任务上评估了我们的方法。作为最后一项贡献，我们将该方法应用于一个经典地质模拟应用。
引用
@article{arxiv.2002.01281,
title = {Pixel-wise Conditioned Generative Adversarial Networks for Image Synthesis and Completion},
author = {Cyprien Ruffino and Romain Hérault and Eric Laloy and Gilles Gasso},
journal= {arXiv preprint arXiv:2002.01281},
year = {2020}
}