面向持续学习的显著性引导隐关联重放
机器学习
2023-10-09 v1
摘要
持续学习(Continual Learning, CL)是下一代人工智能中一个蓬勃发展的领域,其专注于像人类学习一样在一系列任务上训练神经网络。虽然CL相较于传统监督学习具有优势,但其核心挑战仍在于抵消灾难性遗忘,并确保在后续学习过程中保留先前任务。在应对该问题的各种策略中,基于重放的方法因呼应生物记忆机制而脱颖而出。然而,这些方法内存开销大,常保留完整数据样本,这种做法与人类对显著经历的选择性记忆保留不一致。尽管近期一些工作探索了仅在情景记忆中存储数据的显著部分,但局部数据的固有性质需要创新的检索机制。当前的解决方案(如图像修复)从局部线索近似完整数据重建,该方法偏离了真实的人类记忆过程。针对这些细微差异,本文提出面向持续学习的显著性引导隐关联重放(Saliency Guided Hidden Associative Replay for Continual Learning, SHARC)。该新颖框架将关联记忆与基于重放的策略协同结合。SHARC主要通过稀疏记忆编码归档显著数据片段。重要的是,通过利用关联记忆范式,它引入了一种以内容为中心的记忆检索机制,有望实现快速且近乎完美的回忆,使CL更接近于真实的人类记忆过程。大量实验结果证明了我们所提方法在各种持续学习任务上的有效性。
引用
@article{arxiv.2310.04334,
title = {Saliency-Guided Hidden Associative Replay for Continual Learning},
author = {Guangji Bai and Qilong Zhao and Xiaoyang Jiang and Yifei Zhang and Liang Zhao},
journal= {arXiv preprint arXiv:2310.04334},
year = {2023}
}
备注
Preprint. Do not distribute