CORE：通过认知回放缓解持续学习中的灾难性遗忘
机器学习
2024-04-10 v2 人工智能
摘要
本文引入了一个新颖的视角，以显著缓解持续学习（CL）中的灾难性遗忘，该视角强调模型保留现有知识和吸收新信息的能力。当前基于回放的方法平等对待每个任务和数据样本，因此无法充分利用回放缓冲区的潜力。为此，我们提出了 COgnitive REplay（CORE），其灵感来源于人类的认知复习过程。CORE 包含两个关键策略：自适应数量分配和注重质量的数据选择。前者根据每个任务的遗忘率自适应地调整其回放缓冲区分配，后者则保证在缓冲区中包含最能概括每个任务特征的代表性数据。我们的方法在 split-CIFAR10 上达到了 37.95% 的平均准确率，比最佳基线方法高出 6.52%。此外，与最佳基线相比，它将表现最差任务的准确率显著提高了 6.30%。代码可在 https://github.com/sterzhang/CORE 获取。
引用
@article{arxiv.2402.01348,
title = {CORE: Mitigating Catastrophic Forgetting in Continual Learning through Cognitive Replay},
author = {Jianshu Zhang and Yankai Fu and Ziheng Peng and Dongyu Yao and Kun He},
journal= {arXiv preprint arXiv:2402.01348},
year = {2024}
}
备注
Accepted by CogSci24 as oral presentation