寻找持续学习中的结构

从任务流中学习通常会使塑性与稳定性发生竞争：获取新知识常常会导致对过时信息的灾难性遗忘。大多数方法通过对数项求和来解决此问题，创建梯度冲突，这些冲突通过外部记忆回放或参数正则化等复杂且往往不够高效的策略来管理。我们提出了一种使用道格鲁斯-拉舒夫分割 (DRS) 重新表述的持续学习目标。这种方法将学习过程不再直接地进行权衡，而是通过两个解耦目标之间的协商来实现：一个促进新任务的塑性，另一个确保旧知识的稳定性。通过迭代寻找它们的近端算子之间的共识，DRS 提供了更原则且更稳定的学习动力学。我们的做法在无需辅助模块或复杂附加组件的情况下，就地平衡稳定性和塑性，为持续学习系统提供了一个更简单而更强大的范式。