释放持续学习中回放的力量：理论视角

基于回放的方法通过在当前任务中存储部分过去数据并与新数据一起训练，在解决持续学习 (Continual Learning, CL) 中的灾难性遗忘问题上展现出了卓越的性能。尽管这种并行回放策略被广泛使用，但该方法是否始终最优仍不清楚。受人类学习中按顺序重温任务有助于缓解遗忘的启发，我们探讨了与标准的并行回放相比，顺序回放是否能为 CL 带来更大的益处。为了解决这个问题，我们在过参数化线性模型中对基于回放的 CL 进行了理论分析，比较了两种策略：1) 并行回放，即过去数据与新数据一起训练；2) 顺序回放，即先训练新数据，随后按顺序重温过去数据。通过显式刻画遗忘和泛化误差，我们证明了当任务相似度较低时，顺序回放表现更好。这些见解进一步启发了一种新颖的混合回放方法，该方法并行训练相似任务并顺序重温不相似任务。我们刻画了其遗忘和泛化性能，并且我们在深度神经网络上的实验进一步证实，混合方法优于标准的并行回放。这项工作提供了对基于回放的 CL 的首个全面的理论分析。