在实际机器学习任务中稳定弹性权重巩固方法并利用权重重要性进行神经网络剪枝

本文致力于研究弹性权重巩固（Elastic Weight Consolidation, EWC）方法在多个训练集上实现神经网络持续学习的实际应用特性。我们将更严谨地比较EWC方法中用于计算权重重要性的知名方法：记忆感知突触（Memory Aware Synapses, MAS）、突触智能（Synaptic Intelligence, SI）方法，以及基于EWC原论文中Fisher信息矩阵的权重重要性计算。我们将这些方法应用于具有全连接层和卷积层的深度神经网络，为每种方法寻找最优超参数，并使用这些超参数比较持续神经网络学习的结果。接下来，我们指出将EWC方法应用于带卷积层和自注意力层的深度神经网络时出现的问题，例如“梯度爆炸”以及在使用梯度范数约束（梯度裁剪）时梯度中有意义信息的丢失。然后，我们提出一种EWC方法的稳定化方案，有助于解决这些问题，与原方法对比评估并表明所提稳定化方案在持续学习中保持技能的任务上表现不劣于原始EWC，但不具有其缺点。最后，我们给出一个关于在神经网络剪枝问题中使用各类权重重要性的有趣发现。