细粒度梯度限制：缓解灾难性遗忘的简单方法
机器学习
2024-10-02 v1
摘要
在持续学习中，平衡学习新任务与记住先前已获得知识之间的trade-off是一项基本挑战。梯度 Episodic Memory (GEM) 通过利用过去训练样本的子集来限制模型参数的更新方向，从而实现这种平衡。本文首先分析了 GEM 中常被忽视的超参数——记忆强度，它通过进一步限制更新方向来提升经验性能。我们表明，记忆强度之所以有效，主要是因为它提高了 GEM 的泛化能力，从而导致更有利的trade-off。基于此发现，我们提出了两种更灵活约束更新方向的方法。我们的两种方法均能实现优于使用记忆强度的统一更好的Pareto前沿，这些前沿分别体现了对旧知识的记忆和对新知识的学习。我们进一步提出了一种计算高效的方法，大致求解具有更多约束的优化问题。
引用
@article{arxiv.2410.00868,
title = {Fine-Grained Gradient Restriction: A Simple Approach for Mitigating Catastrophic Forgetting},
author = {Bo Liu and Mao Ye and Peter Stone and Qiang Liu},
journal= {arXiv preprint arXiv:2410.00868},
year = {2024}
}