迈向持续学习中参数隔离的可证明保证

深度学习已被证明是解决机器学习诸多挑战的成功范式。然而，深度神经网络在顺序训练多个任务时会失效，这一缺陷在持续学习文献中被称为灾难性遗忘。尽管近期涌现出大量成功解决该问题的学习算法，我们发现针对灾难性遗忘的可证明保证仍然缺失。在本工作中，我们通过考察神经网络损失景观的几何结构来研究学习与遗忘之间的关系。我们对一类持续学习算法——即基于参数隔离的方法——给出了统一的视角，并针对其中部分方法建立了关于灾难性遗忘的保证。