基于梯度的神经网络中灾难性遗忘的实证研究
机器学习
2015-03-05 v3 机器学习
神经与进化计算
摘要
灾难性遗忘是许多机器学习模型和算法面临的问题。当在一个任务上训练，然后在第二个任务上训练时，许多机器学习模型会“忘记”如何执行第一个任务。这被广泛认为是神经网络的一个严重问题。在此，我们调查了现代神经网络中灾难性遗忘问题的发生程度，比较了既有的和最近的基于梯度的训练算法以及激活函数。我们还考察了第一个任务与第二个任务之间的关系对灾难性遗忘的影响。我们发现，使用 dropout 算法进行训练总是最佳的——dropout 算法在适应新任务、记住旧任务方面始终表现最佳，并且在这两个极端之间具有最佳的权衡曲线。我们发现，不同的任务以及任务之间的关系会导致激活函数性能的排名非常不同。这表明激活函数的选择应始终进行交叉验证。
引用
@article{arxiv.1312.6211,
title = {An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks},
author = {Ian J. Goodfellow and Mehdi Mirza and Da Xiao and Aaron Courville and Yoshua Bengio},
journal= {arXiv preprint arXiv:1312.6211},
year = {2015}
}