任务相似性与过度参数化对灾难性遗忘的联合效应——一个分析模型

在持续学习中，灾难性遗忘受到任务多个方面的影响。先前的工作分别分析了遗忘如何受到任务相似性或过度参数化的影响。相比之下，我们的论文在一个可分析的模型中研究了任务相似性和过度参数化如何共同影响遗忘。具体来说，我们关注双任务连续线性回归，其中第二个任务是任意第一个任务（随机排列任务的抽象）的随机正交变换。我们推导出了期望遗忘的精确解析表达式，并揭示了一种微妙的模式。在高度过度参数化的模型中，中等程度的任务相似性导致最大的遗忘。然而，在插值阈值附近，遗忘随期望任务相似性单调递减。我们通过在合成数据上的线性回归，以及在既定排列任务基准上的神经网络验证了我们的发现。