CODE-CL：基于概念矩阵的深度持续学习梯度投影

持续学习（CL）——即逐步获取和集成新概念的能力——是适应动态环境的智能系统的必需品。然而，深度神经网络在顺序学习任务时会遭受灾难性遗忘（CF），因为为学习新任务而进行的训练往往会覆盖以前学习的知识。为此，最近的做法通过梯度投影约束更新到正交子空间，从而有效保留先前任务的重要梯度方向。尽管在减少遗忘方面有效，但这些方法无意中阻碍了前向知识传递（FWT），尤其是在任务高度相关时。本文提出一种概念矩阵表示的梯度投影方法，用于深度持续学习（CODE-CL），这是一种新方法，利用概念矩阵表示（正则化重构的形式）来自适应处理高度相关的任务。CODE-CL 通过将梯度投影到先前任务特征空间的伪正交子空间来缓解 CF，同时促进 FWT。它通过学习共享基准方向的线性组合来实现这一点，允许在稳定性和可塑性之间以及在重叠输入特征表示之间实现知识的有效平衡。广泛的持续学习基准测试的结果表明，CODE-CL 在减少遗忘、提高 FWT 方面优于最新方法，显示出卓越的性能。