线性回归中的灾难性遗忘能有多严重？
机器学习
2022-05-26 v2 数值分析
数值分析
摘要
为更好地理解灾难性遗忘，我们研究将过参数化线性模型拟合到一系列具有不同输入分布的任务上。我们分析了模型在后续任务训练后对已学较早任务真实标签的遗忘程度，得到了精确表达式与界。我们建立了线性设定下的持续学习与其他两个研究领域的联系：交替投影与 Kaczmarz 方法。在特定设定下，我们强调了遗忘与那些领域中研究的离线解收敛之间的差异。特别地，当 T 个 d 维任务以循环方式呈现 k 次迭代时，我们证明了遗忘的上界为 T^2 * min{1/sqrt(k), d/k}。这与离线解的收敛形成对比，后者依据现有交替投影结果可能任意慢。我们进一步表明，当任务以随机顺序呈现时，T^2 因子可被消去。
引用
@article{arxiv.2205.09588,
title = {How catastrophic can catastrophic forgetting be in linear regression?},
author = {Itay Evron and Edward Moroshko and Rachel Ward and Nati Srebro and Daniel Soudry},
journal= {arXiv preprint arXiv:2205.09588},
year = {2022}
}