基于影响逼近的高效机器遗忘

由于日益增长的隐私关注,机器遗忘旨在使机器学习模型能够“忘记”特定训练数据,因此受到越来越多的关注。在现有方法中,基于影响的遗忘因其能够在无需重新训练的情况下估计个别训练样本对模型参数影响的能力而成为一种突出方法。然而,这种方法因需要计算所有训练样本和参数的 Hessian 矩阵及其逆而导致计算开销巨大,在大规模模型和频繁数据删除请求的场景下难以实用。这凸显了遗忘的困难。灵感来源于认知科学,该学科表明记忆比遗忘更容易。本文在理论上建立了记忆（增量学习）与遗忘（遗忘）之间的联系。这种联系允许从增量学习的角度来解决机器遗忘问题。与遗忘中耗时的 Hessian 计算相比,增量学习（记忆）通常依赖于更高效的梯度优化,支持上述认知理论。基于这一联系,我们引入了影响逼近遗忘（IAU）算法,从增量视角实现高效机器遗忘。广泛的实证评估表明,IAU在删除保证、遗忘效率和可比模型实用性之间实现了优越的平衡,并在多样化的数据集和模型架构上超越了最先进的方法。我们的代码已公开于 https://github.com/Lolo1222/IAU。