持续学习中的遗忘与泛化理论
机器学习
2023-02-14 v1
摘要
持续学习(CL)旨在学习一系列任务,近年来引起了显著关注。然而,大多数工作集中于 CL 的实验性能,对 CL 的理论研究仍然有限。特别是,对于哪些因素重要以及它们如何影响“灾难性遗忘”和泛化性能,尚缺乏理解。为填补这一空白,我们在过参数化线性模型下进行的理论分析,给出了已知首个期望遗忘与泛化误差的显式形式。对该关键结果的进一步分析,得出了关于过参数化、任务相似性和任务顺序如何影响 CL 的遗忘与泛化误差的若干理论解释。更有趣的是,通过使用深度神经网络(DNNs)在真实数据集上进行实验,我们表明其中一些见解甚至超越线性模型,可迁移至实际设置。具体而言,我们用具体示例表明,我们的结果不仅解释了近期研究中一些有趣的实证观察,还启发了更好的 CL 实用算法设计。
引用
@article{arxiv.2302.05836,
title = {Theory on Forgetting and Generalization of Continual Learning},
author = {Sen Lin and Peizhong Ju and Yingbin Liang and Ness Shroff},
journal= {arXiv preprint arXiv:2302.05836},
year = {2023}
}