重演的揭示：持续学习中重访样本的局限与价值

从非平稳数据流中学习并克服灾难性遗忘，仍是机器学习研究的一项严峻挑战。本文并非旨在改进最优性能，而是提供对重演（持续学习中最成熟的方法之一）的局限与价值的洞察。我们假设，采用重演顺序训练的模型在任务结束后倾向于停留在同一低损失区域，但存在对其样本记忆过拟合的风险，从而损害泛化能力。我们在三个基准上针对这两种行为提供了概念性与强有力的经验证据，为重演以及一般持续学习的动态带来了新颖的见解。最后，我们依据我们的发现重新解读重要的持续学习工作，从而对其成功之处获得更深的理解。