在线持续学习的一个简单但强力的基线:重复增强回放
机器学习
2022-11-15 v2 人工智能
摘要
在线持续学习(OCL)旨在以对数据的单次遍历,从非平稳数据流中增量训练神经网络。基于回放的方法试图用一小块记忆近似随时间观测的输入分布,并在之后重温它们以避免遗忘。尽管回放方法经验性能强,仍受限于用记忆样本对过去数据损失景观的较差近似。本文重新审视在线设置下的回放动态。我们从有偏且动态的经验风险最小化视角,对固有的记忆过拟合风险提供理论洞见,并考察重复回放的优点与局限。受分析启发,我们设计了一个简单直观的基线——重复增强回放(RAR),以解决在线回放的欠拟合-过拟合困境。令人惊讶的是,在四个差异较大的 OCL 基准上,该简单基线比原始回放高出 9%–17%,并显著改进了最先进的基于回放的方法 MIR、ASER 和 SCR。我们还证明 RAR 成功实现了对过去数据损失景观的准确近似,并在其学习轨迹中规避了高损失脊。我们进行了大量消融实验以研究重复与增强回放的交互,并应用强化学习(RL)动态调整 RAR 超参数,以在线平衡稳定性-可塑性权衡。代码见 https://github.com/YaqianZhang/RepeatedAugmentedRehearsal
引用
@article{arxiv.2209.13917,
title = {A simple but strong baseline for online continual learning: Repeated Augmented Rehearsal},
author = {Yaqian Zhang and Bernhard Pfahringer and Eibe Frank and Albert Bifet and Nick Jin Sean Lim and Yunzhe Jia},
journal= {arXiv preprint arXiv:2209.13917},
year = {2022}
}
备注
NeurIPS 2022