面向数据高效 GAN 训练的可微增强
计算机视觉与模式识别
2020-12-08 v4 图形学
机器学习
摘要
生成对抗网络（GANs）的性能在训练数据有限时会严重恶化。这主要是因为判别器记忆了确切的训练集。为应对此问题，我们提出可微增强（DiffAugment），一种通过对真实与生成样本施加各类可微增强来提升 GAN 数据效率的简单方法。先前直接增强训练数据的尝试改变了真实图像的分布，收效甚微；DiffAugment 使我们能够对生成样本采用可微增强，有效稳定训练并带来更好的收敛。实验表明，我们的方法在多种 GAN 架构与损失函数上，针对无条件与类条件生成均有一致提升。借助 DiffAugment，我们在 ImageNet 128x128 上以 IS 100.8 取得了 6.80 的 SOTA FID，并在 FFHQ 与 LSUN 上给定 1,000 张图像时使 FID 降低 2-4 倍。此外，仅用 20% 训练数据，我们即可匹配 CIFAR-10 与 CIFAR-100 上的顶尖性能。最后，我们的方法仅用 100 张图像无需预训练即可生成高保真图像，同时与现有迁移学习算法相当。代码见 https://github.com/mit-han-lab/data-efficient-gans。
引用
@article{arxiv.2006.10738,
title = {Differentiable Augmentation for Data-Efficient GAN Training},
author = {Shengyu Zhao and Zhijian Liu and Ji Lin and Jun-Yan Zhu and Song Han},
journal= {arXiv preprint arXiv:2006.10738},
year = {2020}
}
备注
NeurIPS 2020. Project: https://data-efficient-gans.mit.edu/ Code: https://github.com/mit-han-lab/data-efficient-gans