权重摩擦：一种克服灾难性遗忘并实现持续学习的简单方法

近年来，深度神经网络在复制人类级认知技能方面取得了成功，但仍面临若干重大障碍。一个显著的局限是无法在学习新任务时不遗忘先前学习的任务，这一缺陷被称为灾难性遗忘。在本研究中，我们提出一种简单方法以克服灾难性遗忘并实现神经网络的持续学习。我们从神经学和物理学原理中汲取灵感，发展了权重摩擦的概念。权重摩擦通过对梯度下降优化方法中的更新规则进行修改来运作。它以与随机梯度下降算法相当的速率收敛，并可在多个任务领域上运行。其性能与现有方法相当，同时在计算和内存效率方面有所提升。