用于持续学习的有益扰动网络
机器学习
2019-06-26 v1 人工智能
摘要
在人工神经网络中使用梯度下降对多任务顺序学习会导致灾难性遗忘，即先前习得的知识在学习新的、不相交的知识时被抹除。在此，我们提出一种全新类型的方法——有益扰动网络（Beneficial Perturbation Network, BPN）。我们添加任务相关的记忆（偏置）单元，使网络能在不同任务下运行于不同机制。受近期对抗样本工作的启发，我们计算训练这些单元的最有益方向。在测试时，给定任务的有益扰动将网络偏向该任务以克服灾难性遗忘。BPN 不仅比网络扩展方法更具参数效率，而且与情景记忆方法不同，无需存储任何先前任务的数据。在 MNIST、CIFAR-10、CIFAR-100 数据集变体上的实验表明，与当前最优方法相比，BPN 具有强劲性能。
引用
@article{arxiv.1906.10528,
title = {Beneficial perturbation network for continual learning},
author = {Shixian Wen and Laurent Itti},
journal= {arXiv preprint arXiv:1906.10528},
year = {2019}
}