生成对抗网络训练是一个持续学习问题
机器学习
2018-11-28 v1 机器学习
摘要
生成对抗网络（GANs）已被证明是学习从复杂分布中采样的强大框架。然而，GANs 也以难以训练而著称，模式崩溃与振荡是常见问题。我们假设这至少部分归因于生成器分布的演化以及神经网络的灾难性遗忘倾向，这导致判别器丧失记忆先前生成器实例所合成样本的能力。认识到这一点，我们的贡献有两点。首先，我们表明 GAN 训练比一些更规范的数据集更能构成有趣且现实的持续学习方法评估基准。其次，我们提出利用持续学习技术来增强判别器，保留其识别先前生成器样本的能力。我们表明所得方法仅增加少量计算、对模型改动极小，并在所考察的图像与文本生成任务上取得更好的整体性能。
引用
@article{arxiv.1811.11083,
title = {Generative Adversarial Network Training is a Continual Learning Problem},
author = {Kevin J Liang and Chunyuan Li and Guoyin Wang and Lawrence Carin},
journal= {arXiv preprint arXiv:1811.11083},
year = {2018}
}