基于缩放梯度投影的持续学习

在神经网络中，持续学习会导致序列任务间的梯度干扰，从而在学习新任务时灾难性地遗忘旧任务。近期方法通过存储旧任务的重要梯度空间并在新任务期间正交更新模型来解决此问题。然而，这种严格的正交梯度更新妨碍了新任务的学习能力，导致次优性能。为了在最小化遗忘的同时改进新学习，本文提出一种缩放梯度投影（SGP）方法，将正交梯度投影与沿过去任务重要梯度空间的缩放梯度步长相结合。沿这些空间的梯度缩放程度取决于张成它们的基的重要性。我们提出一种高效方法，利用每个任务输入表示的奇异值分解来计算和累积这些基的重要性。我们进行了从持续图像分类到强化学习任务的广泛实验，并报告了比最先进方法更好的性能和更少的训练开销。