基于 sketched Jacobian 近似的可证明持续学习

机器学习中的一个重要问题是能够按顺序学习任务的能力。如果用标准一阶方法训练，大多数模型在学习新任务时会遗忘先前学习的任务，这通常被称为灾难性遗忘（catastrophic forgetting）。克服遗忘的一种流行方法是通过惩罚在先前任务上表现不佳的模型来正则化损失函数。例如，弹性权重巩固（EWC）使用涉及基于过去数据构建的对角矩阵二次型进行正则化。尽管 EWC 在某些设定下表现很好，我们表明，即使在其他理想条件下，如果对角矩阵对先前任务的 Hessian 矩阵近似很差，它也可能可证明地遭受灾难性遗忘。我们提出一种简单方法来克服这一点：用过去数据的 Jacobian 矩阵的 sketches 来正则化新任务的训练。这在付出内存代价的前提下，可证明地使线性和宽神经网络能够克服灾难性遗忘。本文的总体目标是提供关于基于正则化的持续学习算法何时起作用以及付出何种内存代价的见解。