样本混合方法对高效训练生成对抗网络的效应实证研究
计算机视觉与模式识别
2021-04-09 v1 机器学习
摘要
众所周知，生成对抗网络（GANs）的训练需要大量迭代才能使生成器提供高质量样本。尽管已有若干研究解决该问题，仍无通用方案。本文中，我们研究了样本混合方法（即 Mixup、CutMix 以及新提出的平滑区域混合（SRMix））缓解此问题的效果。样本混合方法已知能在广泛分类问题中增强准确率与鲁棒性，并且可自然应用于 GANs，因为判别器的角色可解释为真实与伪造样本间的分类。我们还提出了一种将样本混合方法应用于具有饱和损失的 GANs 的新形式，此类 GANs 没有明确的真实与伪造“标签”。我们使用 LSUN 与 CelebA 数据集进行了大量数值实验。结果表明，Mixup 与 SRMix 在大多数情况下按 FID 改善了生成图像质量，尤其 SRMix 在大多数情况下改善最佳。我们的分析指出，混合样本可提供与原始伪造样本不同的性质，且混合模式强烈影响判别器的决策。Mixup 生成的图片具有良好高层特征但低层特征不够出色。另一方面，CutMix 表现出相反趋势。我们的 SRMix 表现出中间趋势，即展现出良好的高层与低层特征。我们相信我们的发现为加速 GANs 收敛与改善生成样本质量提供了新视角。
引用
@article{arxiv.2104.03535,
title = {An Empirical Study of the Effects of Sample-Mixing Methods for Efficient Training of Generative Adversarial Networks},
author = {Makoto Takamoto and Yusuke Morishita},
journal= {arXiv preprint arXiv:2104.03535},
year = {2021}
}
备注
draft version, accepted by IEEE 4th International Conference on Multimedia Information Processing and Retrieval (IEEE MIPR 2021)