基于回放的持续学习方法研究
机器学习
2022-06-09 v1
摘要
持续学习（CL）是机器学习（ML）的一个主要挑战，描述了顺序学习多个任务而不发生灾难性遗忘（CF）的能力。近期的工作表明，CL 是一个复杂的课题，当涉及具有多重约束的真实场景时更是如此。已有若干解决方案类别被提出，其中所谓的基于回放的方法因其简单性和鲁棒性而显得非常有前景。这类方法将过去样本的一个子集存储在专用记忆体中以供后续处理：虽然这不能解决所有问题，但已取得了良好的结果。在本文中，我们对基于回放的持续学习方法进行了实证调研，并评估其应用潜力。所选的近期方法以及我们自己的方案在一个通用基准集上进行比较，特别关注评估不同样本选择策略的性能。我们发现，当存储的样本数量较少时，样本选择的影响会增大。尽管如此，不同回放方法之间的性能差异很大。令人惊讶的是，我们发现此处提出的最朴素的基于 rehearsal 的方法可以胜过近期的最先进方法。
引用
@article{arxiv.2108.06758,
title = {An Investigation of Replay-based Approaches for Continual Learning},
author = {Benedikt Bagus and Alexander Gepperth},
journal= {arXiv preprint arXiv:2108.06758},
year = {2022}
}
备注
Accepted at the IJCNN2021, 9 pages, 1 figure