伪递归：解决深度神经网络中的灾难性遗忘问题
机器学习
2018-05-08 v2 人工智能
机器学习
摘要
一般而言，神经网络目前尚不能按顺序学习任务。当神经网络学习一个新颖且不相关的任务时，它会大幅遗忘如何解决先前已学的任务。该问题最初的解决方案之一是伪排练，即在学习新任务的同时排练代表先前任务/任务的生成样本。这对简单任务非常有效。然而，伪排练尚未成功应用于极复杂任务，因为在这些任务中难以生成代表性样本。我们利用生成对抗网络（GAN）生成样本以实现伪排练，使我们的深度网络能够依次分类 CIFAR-10、SVHN 与 MNIST 数据集。在所有任务训练后，我们的网络在 CIFAR-10 上仅损失 1.67% 绝对精度，并在 SVHN 上提升 0.24% 绝对精度。与当前最先进（SOTA）方案相比，我们模型的性能有实质性提升。
引用
@article{arxiv.1802.03875,
title = {Pseudo-Recursal: Solving the Catastrophic Forgetting Problem in Deep Neural Networks},
author = {Craig Atkinson and Brendan McCane and Lech Szymanski and Anthony Robins},
journal= {arXiv preprint arXiv:1802.03875},
year = {2018}
}