超越经验回放与全模型代理的持续学习
机器学习
2025-05-29 v1 机器学习
摘要
持续学习一直是深度神经网络面临的一项重大挑战，因为学习新任务会部分或完全消除先前获得的知识。现有的解决方案通常依赖于经验回放或全模型代理来缓解灾难性遗忘。虽然有效，但这些方法引入了大量的内存和计算开销，限制了它们在真实场景中的可扩展性和适用性。为了解决这个问题，我们提出了 SPARC，这是一种可扩展的持续学习方法，它消除了对经验回放和全模型代理的需求。通过有效地结合特定任务工作记忆和任务无关语义记忆以进行跨任务知识整合，SPARC 实现了显著的参数效率，仅使用全模型代理所需参数的 6%。尽管设计轻量，SPARC 在 Seq-TinyImageNet 上取得了卓越的性能，并在各种持续学习基准上匹配了基于回放的方法。此外，分类层中的权重重归一化缓解了特定任务偏差，确立了 SPARC 作为在严格效率约束下持续学习的实用且可扩展的解决方案。
引用
@article{arxiv.2505.21942,
title = {Continual Learning Beyond Experience Rehearsal and Full Model Surrogates},
author = {Prashant Bhat and Laurens Niesten and Elahe Arani and Bahram Zonooz},
journal= {arXiv preprint arXiv:2505.21942},
year = {2025}
}
备注
23 pages, 9 figures