用于持续学习的深度生成式双记忆网络
机器学习
2018-05-29 v2
摘要
尽管深度学习取得了进展，神经网络仅能在联合训练时学习多个任务。当任务顺序到达时，它们在先前学习的任务上性能下降。这一称为灾难性遗忘的现象是神经网络在能从持续到达的数据中不断学习之前必须克服的根本挑战。本工作中，我们从人类记忆汲取灵感，开发了一种能够从顺序到达的任务中持续学习、同时避免灾难性遗忘的架构。具体而言，我们的贡献为：(i) 模拟人脑互补学习系统（海马体与新皮层）的双记忆架构，(ii) 通过生成式重放过往经验进行记忆巩固，(iii) 通过实验展示生成式重放与双记忆的优势，以及 (iv) 即使在低容量模型下也能在困难任务上改进性能保持。我们的架构展现出哺乳动物记忆的诸多特征，并为睡眠与学习之间的关联提供了见解。
引用
@article{arxiv.1710.10368,
title = {Deep Generative Dual Memory Network for Continual Learning},
author = {Nitin Kamra and Umang Gupta and Yan Liu},
journal= {arXiv preprint arXiv:1710.10368},
year = {2018}
}