利用概念器克服灾难性干扰
神经与进化计算
2017-07-24 v2 机器学习
摘要
灾难性干扰一直是持续学习研究中的主要障碍。这里我们提出了一种反向传播算法的变体，称为“概念器辅助反向传播”（CAB），其中梯度受概念器保护，以防止先前学习任务的性能退化。概念器起源于储备计算，此前已被证明能克服灾难性遗忘。CAB 将这些结果扩展到了深度前馈网络。在不相交 MNIST 任务上，CAB 优于深度学习领域最近提出的另外两种应对灾难性干扰的方法。
引用
@article{arxiv.1707.04853,
title = {Overcoming Catastrophic Interference by Conceptors},
author = {Xu He and Herbert Jaeger},
journal= {arXiv preprint arXiv:1707.04853},
year = {2017}
}
备注
14 pages, 4 figures