忘却更少，保留更多：面向再 rehearsal-based 持续学习的轻量级正则化器
机器学习
2025-12-02 v1 计算机视觉与模式识别
摘要
深度神经网络 suffer from catastrophic forgetting，即在训练新任务后对先前任务的性能会下降。这种问题源于模型倾向于用新信息覆盖先前获取的知识。我们提出了一种新方法，聚焦于 memory-based方法与正则化方法的交集。我们提出一种称为Information Maximization(IM)正则化器的正则化策略，用于 memory-based持续学习方法，基于预期标签分布，因而是 class-agnostic的。作为结果，IM正则化器可以直接集成到各种再 rehearsal-based持续学习方法中，以减少遗忘并促进更快收敛。我们的实验结果表明，跨越数据集且不论任务数量，所提出的正则化策略在最小计算开销下一致改善了基线性能。IM的轻量级特性确保其是一种实用且可扩展的解决方案，适用于效率至关重要的实际持续学习场景。最后，我们通过将其应用于视频数据，展示了该正则化器的数据agnostic性，视频数据因其时序结构和更高的内存要求而具有额外挑战。尽管存在显著的领域差距，我们的实验表明，IM正则化器也会提高视频持续学习方法的性能。
关键词
引用
@article{arxiv.2512.01818,
title = {Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning},
author = {Lama Alssum and Hasan Abed Al Kader Hammoud and Motasem Alfarra and Juan C Leon Alcazar and Bernard Ghanem},
journal= {arXiv preprint arXiv:2512.01818},
year = {2025}
}