克服神经网络中的灾难性遗忘
机器学习
2022-06-08 v2 人工智能
机器学习
摘要
以顺序方式学习任务的能力对人工智能的发展至关重要。一般而言，神经网络不具备这种能力，并且人们普遍认为灾难性遗忘是连接主义模型的一个不可避免的特征。我们表明有可能克服这一限制，并训练能够在对很长时间未经历的任务上保持专业知识的网络。我们的方法通过选择性地减慢对那些任务重要的权重上的学习来记住旧任务。我们通过基于MNIST手写数字数据集解决一组分类任务以及通过顺序学习数个Atari 2600游戏，证明了我们的方法可扩展且有效。
引用
@article{arxiv.1612.00796,
title = {Overcoming catastrophic forgetting in neural networks},
author = {James Kirkpatrick and Razvan Pascanu and Neil Rabinowitz and Joel Veness and Guillaume Desjardins and Andrei A. Rusu and Kieran Milan and John Quan and Tiago Ramalho and Agnieszka Grabska-Barwinska and Demis Hassabis and Claudia Clopath and Dharshan Kumaran and Raia Hadsell},
journal= {arXiv preprint arXiv:1612.00796},
year = {2022}
}