SketchOGD：内存高效的持续学习
机器学习
2025-12-18 v3 人工智能
机器学习
摘要
当机器学习模型在一个任务序列上持续训练时，它们往往容易忘记在先前任务上学到的内容——这一现象被称为灾难性遗忘。针对灾难性遗忘提出的解决方案往往涉及存储关于过去任务的信息，这意味着内存使用量是决定其实用性的主要考量因素。本文利用矩阵草图（matrix sketching）的思想，在一种称为正交梯度下降（OGD）的简单持续学习算法背景下，开发了一种内存高效的灾难性遗忘解决方案。OGD 利用模型在这些数据点上的梯度，寻找旨在保留先前数据点性能的权重更新。然而，由于存储先前模型梯度的内存成本随算法运行时间增长，OGD 不适合长时间跨度的持续学习。为解决此问题，我们提出了 SketchOGD。SketchOGD 采用在线草图算法，将遇到的模型梯度压缩为一个固定、用户指定大小的矩阵。与现有的内存高效 OGD 变体不同，SketchOGD 在线运行，无需预先知道任务总数，易于实现，且更便于分析。我们在一个适用于 OGD 下游任务的新度量下，对相关草图的近似误差提供了理论保证。在实验上，我们发现给定固定内存预算时，SketchOGD 往往优于当前最先进的 OGD 变体。
引用
@article{arxiv.2305.16424,
title = {SketchOGD: Memory-Efficient Continual Learning},
author = {Youngjae Min and Benjamin Wright and Jeremy Bernstein and Navid Azizan},
journal= {arXiv preprint arXiv:2305.16424},
year = {2025}
}