通往持续学习的更快路径
机器学习
2026-04-16 v2 计算机视觉与模式识别
摘要
持续学习（CL）旨在训练神经网络处理动态任务流，同时不遗忘先前学到的知识。在基于优化的方法中，C-Flat因其即插即用的特性以及能够鼓励新旧任务都处于均匀低损失区域的能力，已成为一种有前景的解决方案。然而，C-Flat每次迭代需要三次额外的梯度计算，给优化过程带来了巨大开销。在这项工作中，我们提出了C-Flat Turbo，一种更快且更强的优化器，显著降低了训练成本。我们表明，与一阶平坦度相关的梯度包含相对于代理模型梯度的方向不变分量，这使我们能够跳过扰动上升步骤中的冗余梯度计算。此外，我们观察到这些促进平坦度的梯度在任务间逐渐稳定，这启发了一种带有自适应触发器的线性调度策略，为后续任务分配更大的Turbo步长。实验表明，在广泛的CL方法中，C-Flat Turbo比C-Flat快1.0倍到1.25倍，同时达到相当甚至更高的准确率。
引用
@article{arxiv.2604.11064,
title = {A Faster Path to Continual Learning},
author = {Wei Li and Hangjie Yuan and Zixiang Zhao and Borui Kang and Ziwei Liu and Tao Feng},
journal= {arXiv preprint arXiv:2604.11064},
year = {2026}
}
备注
Update Author Affiliations