AdaER：一种用于持续终身学习的自适应经验回放方法
机器学习
2024-05-14 v2
摘要
持续终身学习是一种受人类学习启发的机器学习框架，其中学习器被训练以连续地、按顺序获取新知识。然而，流式训练数据的非平稳特性带来了一项被称为灾难性遗忘的重大挑战，即引入新任务时对已学知识的快速遗忘。尽管已提出一些方法（如经验回放（ER））来缓解该问题，其性能仍有限，尤其在被视为自然且极具挑战性的类增量场景下。本文中，我们提出一种称为自适应经验回放（AdaER）的新算法，以应对持续终身学习的挑战。AdaER 包含两个阶段：记忆回放与记忆更新。在记忆回放阶段，AdaER 引入上下文提示记忆召回（C-CMR）策略，选择性地回放在数据层面与任务层面均与当前输入数据最冲突的记忆。此外，AdaER 结合熵均衡蓄水池采样（E-BRS）策略，通过最大化信息熵来提升记忆缓冲的性能。为评估 AdaER 的有效性，我们在已建立的监督持续终身学习基准上开展实验，特别聚焦于类增量学习场景。结果表明 AdaER 优于现有持续终身学习基线，凸显了其在缓解灾难性遗忘与提升学习性能方面的功效。
引用
@article{arxiv.2308.03810,
title = {AdaER: An Adaptive Experience Replay Approach for Continual Lifelong Learning},
author = {Xingyu Li and Bo Tang and Haifeng Li},
journal= {arXiv preprint arXiv:2308.03810},
year = {2024}
}
备注
18 pages, 26 figures