基于神经网络的持续终身学习：一篇综述
机器学习
2019-02-12 v4 神经元与认知
机器学习
摘要
人类和动物具有在整个人生过程中持续获取、微调并迁移知识与技能的能力。这一被称为终身学习的能力，由一组丰富的神经认知机制所介导，这些机制共同促进了我们感觉运动技能的发展与专门化，以及长期记忆的巩固与提取。因此，终身学习能力对于在真实世界中交互并处理连续信息流的自主智能体而言至关重要。然而，终身学习对于机器学习和神经网络模型来说仍是一项长期存在的挑战，因为从非平稳数据分布中持续获取逐步可得的信息通常会导致灾难性遗忘或干扰。这一局限代表了最先进的深度神经网络模型的一个主要缺陷，这些模型通常从平稳的训练数据批次中学习表征，因而未考虑信息随时间逐步可得的情形。在本综述中，我们批判性地总结了与人工学习系统的终身学习相关的主要挑战，并比较了在不同程度上缓解灾难性遗忘的现有神经网络方法。我们讨论了受生物系统中终身学习因素（如结构可塑性、记忆重放、课程学习与迁移学习、内在动机以及多感官整合）启发而建立的成熟与新兴研究。
引用
@article{arxiv.1802.07569,
title = {Continual Lifelong Learning with Neural Networks: A Review},
author = {German I. Parisi and Ronald Kemker and Jose L. Part and Christopher Kanan and Stefan Wermter},
journal= {arXiv preprint arXiv:1802.07569},
year = {2019}
}