从持续学习视角看生成模型
机器学习
2018-12-24 v1 人工智能
计算机视觉与模式识别
摘要
哪种生成模型最适合持续学习?本文旨在对生成模型在离散顺序图像生成任务上进行评估与比较。我们考察了多种模型如何学习与遗忘,并考虑了多种策略:排练、正则化、生成重放与微调。我们使用两个定量指标来估计生成质量与记忆能力。我们在三个常用的持续学习基准(MNIST、Fashion MNIST与CIFAR10)上进行了顺序任务实验。我们发现,在所有模型中,原始GAN表现最佳;在持续学习策略中,生成重放优于所有其他方法。尽管我们在MNIST与Fashion MNIST上找到了令人满意的组合,但在CIFAR10上顺序训练生成模型尤其不稳定,仍是一项挑战。我们的代码已在线公开\footnote{\url{https://github.com/TLESORT/Generative\_Continual\_Learning}}。
引用
@article{arxiv.1812.09111,
title = {Generative Models from the perspective of Continual Learning},
author = {Timothée Lesort and Hugo Caselles-Dupré and Michael Garcia-Ortiz and Andrei Stoian and David Filliat},
journal= {arXiv preprint arXiv:1812.09111},
year = {2018}
}