ZeroFlow：克服灾难性遗忘比你想象的更容易
计算机视觉与模式识别
2025-06-09 v4 机器学习
摘要
反向传播为克服灾难性遗忘提供了一种通用配置。SGD和Adam等优化器常用于持续学习和持续预训练中的权重更新。然而，由于黑盒API、硬件限制或不可微系统，在实践中获取梯度信息并不总是可行的，我们将这一挑战称为梯度禁令。为弥补这一差距，我们引入了ZeroFlow，这是第一个旨在评估无梯度优化算法以克服遗忘的基准。ZeroFlow检查了一系列基于前向传播的方法，涵盖各种算法、遗忘场景和数据集。我们的结果表明，仅前向传播就足以减轻遗忘。我们揭示了新颖的优化原理，强调了基于前向传播的方法在减轻遗忘、管理任务冲突和减少内存需求方面的潜力。此外，我们提出了新的增强方法，仅使用前向传播即可进一步提高抗遗忘能力。这项工作为推进基于前向传播的持续学习方法提供了必要的工具和见解。
引用
@article{arxiv.2501.01045,
title = {ZeroFlow: Overcoming Catastrophic Forgetting is Easier than You Think},
author = {Tao Feng and Wei Li and Didi Zhu and Hangjie Yuan and Wendi Zheng and Dan Zhang and Jie Tang},
journal= {arXiv preprint arXiv:2501.01045},
year = {2025}
}