灾难性遗忘：仍是深度神经网络的一个问题
机器学习
2019-05-21 v1 计算机视觉与模式识别
摘要
我们研究了深度神经网络（DNNs）在类增量视觉问题上的表现，该类问题由初始训练及随后加入新视觉类别的再训练组成。我们使用一种新的评估程序来度量灾难性遗忘（CF）行为，该程序旨在从面向应用的角度看待增量学习。具体而言，它要求在仅使用初始数据集的情况下进行模型选择，并且要求仅使用再训练数据集来执行再训练控制，因为初始数据集通常过大而无法保留。我们在基于MNIST构建的类增量问题上使用多种不同的DNN模型进行实验，其中一些模型是近期为避免灾难性遗忘而提出的。当将我们的新评估程序与先前评估CF的方法进行比较时，我们发现它们所得的结论被完全否定，并且所有被测方法均无法在所有实验中避免CF。这凸显了针对灾难性遗忘建立现实经验度量程序的重要性，以及深度神经网络增量学习方面进一步研究的必要性。
引用
@article{arxiv.1905.08077,
title = {Catastrophic forgetting: still a problem for DNNs},
author = {B. Pfülb and A. Gepperth and S. Abdullah and A. Kilian},
journal= {arXiv preprint arXiv:1905.08077},
year = {2019}
}
备注
10 pages, 11 figures, Artificial Neural Networks and Machine Learning - ICANN 2018