蒸馏回放：通过合成样本克服遗忘
机器学习
2021-06-23 v2 人工智能
摘要
回放策略是一种持续学习(Continual Learning)技术，它通过保留来自以往经验的样本缓冲，并在训练中与新数据交错，来缓解灾难性遗忘。缓冲中存储的样本数量是该方法最终性能与内存占用的关键参数。本文提出蒸馏回放(Distilled Replay)，一种用于持续学习的新型回放策略，它能够通过保留极小的缓冲（每类1个样本）中信息量极高的样本来减轻遗忘。蒸馏回放通过蒸馏过程构建缓冲，该过程将大型数据集压缩为极小的信息样本集。我们在四个持续学习基准上展示了我们的蒸馏回放相对于流行基于回放策略的有效性。
引用
@article{arxiv.2103.15851,
title = {Distilled Replay: Overcoming Forgetting through Synthetic Samples},
author = {Andrea Rosasco and Antonio Carta and Andrea Cossu and Vincenzo Lomonaco and Davide Bacciu},
journal= {arXiv preprint arXiv:2103.15851},
year = {2021}
}