样本加权作为生成对抗网络模式崩溃的解释
机器学习
2020-10-06 v1 机器学习
摘要
生成对抗网络（GAN）最初以 logistic MiniMax 代价形式提出，通常因饱和而训练失败，随后出现非饱和（Non-Saturating）重构。NS-GAN 在解决饱和问题的同时反转了生成器的样本加权，在更新参数时隐式地将重点从高分样本转向低分样本。我们给出理论与实证结果，表明这使 NS-GAN 易于发生模式丢弃。我们设计了 MM-nsat，其保留 MM-GAN 样本加权，同时通过重缩放 MM-GAN 小批量梯度使其幅值近似 NS-GAN 梯度幅值来避免饱和。MM-nsat 具有质上不同的训练动态，在 MNIST 与 CIFAR-10 上其在模式覆盖、稳定性与 FID 方面更强。尽管 MM-nsat 的实证结果令人鼓舞，且相较于 LS-GAN 与 Hinge-GAN 形式也具优势，我们的主要贡献在于揭示 NS-GAN 的样本加权如何及为何导致模式丢弃与训练崩溃。
引用
@article{arxiv.2010.02035,
title = {Sample weighting as an explanation for mode collapse in generative adversarial networks},
author = {Aksel Wilhelm Wold Eide and Eilif Solberg and Ingebjørg Kåsen},
journal= {arXiv preprint arXiv:2010.02035},
year = {2020}
}
备注
41 pages, 21 figures, preprint