一种用于生成对抗网络的基于 U-Net 的判别器
计算机视觉与模式识别
2021-03-23 v2 机器学习
图像与视频处理
摘要
生成对抗网络（GANs）的主要剩余挑战之一，是合成在全局与局部上连贯、且物体形状与纹理与真实图像无法区分的图像的能力。针对此问题，我们提出一种替代性的基于 U-Net 的判别器架构，借鉴分割领域的思路。所提出的基于 U-Net 的架构能够通过同时提供全局图像反馈，在向生成器提供详细的逐像素反馈的同时保持合成图像的全局连贯性。借助判别器的逐像素响应，我们进一步提出一种基于 CutMix 数据增强的逐像素一致性正则化技术，促使 U-Net 判别器更关注真实与伪造图像之间的语义与结构变化。这改善了 U-Net 判别器的训练，进一步提升生成样本的质量。该新型判别器在标准分布与图像质量指标上优于现有最优方法，使生成器能够合成具有不同结构、外观与细节程度且保持全局与局部真实感的图像。与 BigGAN 基线相比，我们在 FFHQ、CelebA 及新引入的 COCO-Animals 数据集上取得平均 2.7 FID 点的提升。代码见 https://github.com/boschresearch/unetgan。
引用
@article{arxiv.2002.12655,
title = {A U-Net Based Discriminator for Generative Adversarial Networks},
author = {Edgar Schönfeld and Bernt Schiele and Anna Khoreva},
journal= {arXiv preprint arXiv:2002.12655},
year = {2021}
}
备注
CVPR 2020 (Main Conference). Code repository: https://github.com/boschresearch/unetgan