论生成对抗网络中的灾难性遗忘与模式崩溃
机器学习
2020-03-24 v8 机器学习
摘要
在本文中，我们表明生成对抗网络(GANs)即使在被训练以逼近单一目标分布时也会遭受灾难性遗忘。我们指出GAN训练是一个持续学习问题，其中不断变化的模型分布序列对判别器而言即为任务序列。序列中任务间的不匹配程度决定了遗忘的程度。灾难性遗忘与模式崩溃相互关联，并可使GAN的训练不收敛。我们考察了不同变体GAN中判别器输出的景观，发现当GAN收敛到良好均衡时，真实训练数据点成为判别器的宽局部极大值。我们经验性地展示了局部极大值的锐度与GAN中模式崩溃及泛化之间的关系。我们展示了灾难性遗忘如何阻碍判别器将真实数据点变为局部极大值，从而导致不收敛。最后，我们研究了防止GAN中灾难性遗忘的方法。
引用
@article{arxiv.1807.04015,
title = {On Catastrophic Forgetting and Mode Collapse in Generative Adversarial Networks},
author = {Hoang Thanh-Tung and Truyen Tran},
journal= {arXiv preprint arXiv:1807.04015},
year = {2020}
}
备注
This is an extended version of our paper in ICML'18 Workshop on Theoretical Foundation and Applications of Deep Generative Models. Accepted to IJCNN 2020