PD-GAN：用于图像修复的概率多样性 GAN
计算机视觉与模式识别
2021-05-06 v1
摘要
我们提出了 PD-GAN，一种用于图像修复的概率多样性 GAN（生成对抗网络）。给定带有任意空洞区域的输入图像，PD-GAN 可生成多个内容多样且视觉逼真的修复结果。我们的 PD-GAN 构建于一个基于随机噪声生成图像的原始 GAN 之上。在图像生成过程中，我们通过多尺度注入初始修复图像与空洞区域，对输入随机噪声的深度特征进行由粗到细的调制。我们认为，在空洞填充过程中，靠近空洞边界的像素应更具确定性（即更信赖上下文与初始修复图像以形成自然的修复边界），而位于空洞中心的像素应享有更多自由度（即更依赖于随机噪声以增强多样性）。为此，我们在调制内部提出空间概率多样性归一化（SPDNorm）来建模基于上下文信息生成某一像素的概率。SPDNorm 动态平衡空洞区域内的真实感与多样性，使生成内容在靠近空洞中心处更具多样性，而在靠近边界处更近似邻近图像内容。同时，我们提出一种感知多样性损失以进一步赋予 PD-GAN 生成多样内容的能力。在包括 CelebA-HQ、Places2 和 Paris Street View 在内的基准数据集上的实验表明，PD-GAN 对于多样且视觉逼真的图像修复是有效的。
引用
@article{arxiv.2105.02201,
title = {PD-GAN: Probabilistic Diverse GAN for Image Inpainting},
author = {Hongyu Liu and Ziyu Wan and Wei Huang and Yibing Song and Xintong Han and Jing Liao},
journal= {arXiv preprint arXiv:2105.02201},
year = {2021}
}
备注
Accepted by CVPR 2021