循环神经网络中的持续学习
机器学习
2021-03-11 v3 机器学习
摘要
尽管已有多种多样的持续学习（CL）方法被提出以防止灾难性遗忘，但缺乏对这些方法在循环神经网络（RNNs）中处理序列数据有效性的全面研究。在此，我们首次在各种序列数据基准上对现有的CL方法进行了全面评估。具体而言，我们揭示了将权重重要性方法（如弹性权重巩固）应用于RNNs时出现的特殊性。与前馈网络不同，RNNs迭代地重用一组共享权重，并需要工作记忆来处理输入样本。我们表明，权重重要性方法的性能并不直接受处理序列长度的影响，而是受高工作记忆需求的影响，这导致对稳定性的需求增加，从而以降低学习后续任务的可塑性为代价。我们还通过研究线性RNNs提供了支持这一解释的理论论证。我们的研究表明，现有的CL方法可以成功移植到循环情形，并且最近一种基于超网络的正则化方法优于权重重要性方法，从而成为RNNs中CL的有力候选方案。总体而言，我们提供了关于前馈网络和RNNs中CL差异的见解，同时为解决序列数据上的CL问题提供了有效解决方案的指导。
引用
@article{arxiv.2006.12109,
title = {Continual Learning in Recurrent Neural Networks},
author = {Benjamin Ehret and Christian Henning and Maria R. Cervera and Alexander Meulemans and Johannes von Oswald and Benjamin F. Grewe},
journal= {arXiv preprint arXiv:2006.12109},
year = {2021}
}
备注
Published at ICLR 2021