通过近端解耦实现无忘危的任务切换

在持续学习中，主要挑战是学习新信息而不忘记旧知识。常见的解决方案通过正则化来解决这一权衡，对对先前任务至关重要的参数施加惩罚。在大多数情况下，这一正则化项直接添加到训练损失中，并使用标准梯度下降进行优化，这会将学习信号和保留信号融合到单个更新中，无法显式地将关键参数与冗余参数分离。随着任务序列的增长，这种耦合会导致模型受限，限制了前向迁移并导致容量利用效率低下。我们提出了一种不同的方法，通过算子分割将任务学习与稳定性 enforcement 分离。学习步骤专注于最小化当前任务损失，而近端稳定步骤则对不必要的参数进行稀疏正则化以修剪，并保留任务相关参数。这将稳定性-塑性转化为两个互补算子之间的协商更新，而非冲突的梯度。我们为分割方法在持续学习目标上的理论提供了依据，展示了我们提出的求解器在标准基准测试上实现了最先进的结果，在无需回放缓冲区、贝叶斯抽样或元学习组件的情况下，提高了稳定性和适应性。