记忆在持续学习中的作用是什么？
机器学习
2025-05-26 v1
摘要
记忆影响深度学习算法的性能。先前的研究主要在泛化和隐私的上下文中探讨了记忆。本工作聚焦于增量学习情景中的记忆效应。遗忘预防与记忆似乎类似，但二者需要加以区分。我们设计了大量实验来评估记忆对持续学习的影响。我们阐明，记忆得分高的学习示例比常规样本更快地被遗忘。我们的发现还表明，记忆是实现最高性能的必要条件。然而，在低记忆场景下，遗忘常规样本更为重要。我们展示了在缓冲区大小增加时，高记忆得分样本的重要性提升。我们引入了一个记忆代理，并在缓冲区政策问题中运用它，以展示如何在增量训练期间利用记忆。我们演示了在缓冲区较大时，包含更高代理记忆得分的样本是有益的。
引用
@article{arxiv.2505.17664,
title = {What is the role of memorization in Continual Learning?},
author = {Jędrzej Kozal and Jan Wasilewski and Alif Ashrafee and Bartosz Krawczyk and Michał Woźniak},
journal= {arXiv preprint arXiv:2505.17664},
year = {2025}
}