无遗忘的GAN记忆
计算机视觉与模式识别
2020-11-13 v2 机器学习
摘要
作为终身学习中的一个根本性问题，灾难性遗忘直接由无法访问的历史数据造成；相应地，如果数据（信息）能被完美记忆，就不应有遗忘发生。受此启发，我们为终身学习提出了一种GAN记忆，它能够通过生成过程记住数据流，且\emph{无}遗忘。我们的GAN记忆基于这样一个认识：可以调制GAN模型的“风格”以形成感知上不同的目标生成。据此，我们提出在一个表现良好的基GAN模型之上进行序列风格调制，以形成序列化的目标生成模型，同时受益于迁移的基知识。因此，受终身学习启发的GAN记忆本身通过一种终身学习的形式来体现，即通过前向迁移和调制先前任务的信息。实验证明了我们的方法相对于现有方法的优越性及其在缓解终身分类问题中灾难性遗忘的有效性。代码可在https://github.com/MiaoyunZhao/GANmemory_LifelongLearning获取。
引用
@article{arxiv.2006.07543,
title = {GAN Memory with No Forgetting},
author = {Yulai Cong and Miaoyun Zhao and Jianqiao Li and Sijia Wang and Lawrence Carin},
journal= {arXiv preprint arXiv:2006.07543},
year = {2020}
}
备注
NeurIPS2020