通过神经元级可塑性控制克服灾难性遗忘
计算机视觉与模式识别
2019-08-01 v1
摘要
为解决神经网络中的灾难性遗忘问题，我们提出了一种新颖、简单且有效的解决方案，称为神经元级可塑性控制（NPC）。在学习新任务时，该方法通过在神经元级别控制网络的可塑性来保留先前任务的知识。NPC 估计每个神经元的重要性值，并通过施加较低的学习率来巩固重要神经元，而不是限制单个连接权重接近某些特定值。在增量 MNIST（iMNIST）和增量 CIFAR100（iCIFAR100）数据集上的实验结果表明，与连接级巩固方法相比，神经元级巩固显著更有效。
引用
@article{arxiv.1907.13322,
title = {Overcoming Catastrophic Forgetting by Neuron-level Plasticity Control},
author = {Inyoung Paik and Sangjun Oh and Tae-Yeong Kwak and Injung Kim},
journal= {arXiv preprint arXiv:1907.13322},
year = {2019}
}
备注
8 pages