理解在不同模型容量下持续学习中复述规模的作用
机器学习
2026-02-25 v1
摘要
复述是缓解灾难性遗忘的关键技术之一，因其简单性和实用性而在持续学习算法中广泛采用。然而，对复述规模如何影响学习动力学的理论理解仍有限。为弥补这一差距，我们将基于复述的持续学习表述为一个多维度有效性驱动的迭代优化问题，提供一种在 diverse performance metrics 上的统一特征。，在此框架中，我们从复述规模的角度推导了可适应性、记忆力和泛化性的闭式分析。我们的结果揭示了若干令人惊讶且违直觉的发现。首先，复述可能损害模型的可适应性，这与其传统认可的益处形成鲜明对比。其次，增加复述规模并不一定改善记忆保留。当任务相似且噪声水平较低时，记忆误差表现出递减的下界。最后，我们通过数值模拟和在多个真实数据集上的深度神经网络进行扩展分析，验证了这些见解，揭示了持续学习中复述机制的统计模式。
引用
@article{arxiv.2602.20791,
title = {Understanding the Role of Rehearsal Scale in Continual Learning under Varying Model Capacities},
author = {JinLi He and Liang Bai and Xian Yang},
journal= {arXiv preprint arXiv:2602.20791},
year = {2026}
}