面向长期持续学习的任务-核心记忆管理与整合
机器学习
2025-05-16 v1 人工智能
摘要
本文聚焦于长期持续学习（continual learning, CL）任务，其中模型需在庞大的任务流中顺序学习，类似人类学习方式，在获取新知识的同时保留先前学习信息。与传统 CL 设定不同，长期 CL 涉及处理大量任务，加剧了灾难性遗忘问题。我们的工作旨在回答两个关键问题：1) 现有 CL 方法在长期 CL 语境下的性能如何？2) 如何缓解由持续顺序更新引起的灾难性遗忘？为此，我们提出一种受人类记忆机制启发的长期持续学习框架（Long-CL）。具体而言，我们引入任务-核心记忆管理策略，以高效索引关键记忆并适应性更新；此外，我们开发了长期记忆整合机制，以选择性保留困难且判别性强的样本，确保知识稳健保留。为促进该领域研究，我们构建并发布了两个多模态和文本基准数据集，MMLongCL-Bench 和 TextLongCL-Bench，为评估长期 CL 方法提供了宝贵资源。实验结果表明，Long-CL 在两个基准测试中分别比以往最先进方法提高了 7.4% 和 6.5% 的平均精度，表明了该方法的有效性。
引用
@article{arxiv.2505.09952,
title = {Task-Core Memory Management and Consolidation for Long-term Continual Learning},
author = {Tianyu Huai and Jie Zhou and Yuxuan Cai and Qin Chen and Wen Wu and Xingjiao Wu and Xipeng Qiu and Liang He},
journal= {arXiv preprint arXiv:2505.09952},
year = {2025}
}
备注
Submitted to Neurips2025