面向循环神经网络的终身训练
机器学习
2019-09-10 v3 人工智能
机器学习
摘要
灾难性遗忘与容量饱和是任何参数化终身学习系统的核心挑战。本工作中，我们在序列监督学习背景下研究这些挑战，并重点关注循环神经网络。为在终身学习设定下评估模型，我们提出了一种基于课程、简单且直观的基准，其中模型在难度递增的任务上训练。为衡量灾难性遗忘的影响，模型在完成后任一任务时均在所有先前任务上接受测试。作为开发真正终身学习系统的一步，我们将梯度情景记忆（一种缓解灾难性遗忘的方法）与Net2Net（一种容量扩展方法）相统一。这两种模型均是在前馈网络背景下提出的，我们评估了将它们用于循环网络的可行性。在所提基准上的评估表明，统一模型比其组成模型更适用于终身学习设定。
引用
@article{arxiv.1811.07017,
title = {Towards Training Recurrent Neural Networks for Lifelong Learning},
author = {Shagun Sodhani and Sarath Chandar and Yoshua Bengio},
journal= {arXiv preprint arXiv:1811.07017},
year = {2019}
}
备注
Accepted at Neural Computation