基于在线生成记忆回忆的增量概念学习
机器学习
2019-07-08 v1 计算机视觉与模式识别
摘要
随着时间从增量到达的数据中学习越来越多概念的能力，对于开发终身学习系统至关重要。然而，深度神经网络在持续学习新概念时常常遗忘先前学习的概念，这被称为灾难性遗忘问题。灾难性遗忘的主要原因是在增量学习新概念时过去的概念数据不可用且神经权重发生改变。在本文中，我们提出一种基于伪排练的类增量学习方法，使神经网络能够持续学习新概念。我们使用条件生成对抗网络来巩固旧概念记忆并在学习新概念时回忆伪样本，并采用平衡的在线记忆回忆策略以最大程度保持旧记忆。我们设计了一个可理解的增量概念学习网络以及一种概念对比损失，以减轻神经权重变化的幅度。我们在 MNIST、Fashion-MNIST 和 SVHN 数据集上评估所提方法，并与其他基于排练的方法进行比较。大量实验证明了我们方法的有效性。
引用
@article{arxiv.1907.02788,
title = {Incremental Concept Learning via Online Generative Memory Recall},
author = {Huaiyu Li and Weiming Dong and Bao-Gang Hu},
journal= {arXiv preprint arXiv:1907.02788},
year = {2019}
}