闪回学习：协调持续学习中的稳定性与可塑性
摘要
我们引入了闪回学习（Flashback Learning, FL），一种旨在协调持续学习（Continual Learning, CL）中模型稳定性与可塑性的新颖方法。以往的方法主要侧重于正则化模型更新，以在学习新概念的同时保留旧信息，与此不同，FL 通过双向正则化形式显式地平衡了这种权衡。该方法有效地引导模型在积极保留旧知识的同时快速整合新知识。FL 通过两阶段训练过程运行，可无缝集成到各种 CL 方法中，包括回放、参数正则化、蒸馏和动态架构技术。在设计 FL 时，我们使用了两个不同的知识库：一个用于增强可塑性，另一个用于提高稳定性。FL 利用这两个知识库来正则化模型更新，从而确保模型更加平衡。在理论上，我们分析了 FL 机制如何增强稳定性与可塑性平衡。在实验上，FL 在相同的训练预算内展现出了相对于基线方法的实质性改进。通过将 FL 集成到每个 CL 类别中至少一个代表性基线中，我们在标准图像分类基准上的类增量设置中观察到平均准确率提升了 4.91%，在任务增量设置中提升了 3.51%。此外，稳定性与可塑性比率的测量证实 FL 有效地增强了这种平衡。在 ImageNet 等更具挑战性的数据集上，FL 也优于 SOTA 的 CL 方法。
引用
@article{arxiv.2506.00477,
title = {Flashbacks to Harmonize Stability and Plasticity in Continual Learning},
author = {Leila Mahmoodi and Peyman Moghadam and Munawar Hayat and Christian Simon and Mehrtash Harandi},
journal= {arXiv preprint arXiv:2506.00477},
year = {2025}
}
备注
Manuscript submitted to Neural Networks (Elsevier) in August 2024; and accepted in May 2025 for publication. This version is author-accepted manuscript before copyediting and typesetting. The codes of this article will be available at https://github.com/csiro-robotics/Flashback-Learning