基于梯度匹配的核心集用于基于回放的持续学习

持续学习的目标是高效地用新数据更新机器学习模型，同时不忘记先前学到的知识。最广泛使用的持续学习方法依赖于一个回放记忆，其中存储数据点，以便在训练新数据时重用。策划这样一个回放记忆，以维护迄今为止所有数据的一个小而信息丰富的子集，对这些方法的成功至关重要。我们设计了一种用于基于回放的持续学习的核心集选择方法。我们的方法基于梯度匹配的思想：核心集引起的梯度应尽可能接近原始训练数据集引起的梯度。受神经正切核理论的启发，我们在模型的初始化分布上进行这种梯度匹配，从而无需先训练模型即可提取核心集。我们在广泛的持续学习场景中评估了该方法，并证明与竞争的记忆管理策略（如水库采样）相比，它提高了基于回放的持续学习方法的性能。