超越现有手段：基于逐样本梯度正交化的机器遗忘
机器学习
2026-03-10 v2
摘要
机器遗忘旨在移除模型训练后问题训练数据的影响。机器遗忘的主要挑战在于确保该过程有效移除指定数据，同时不损害模型在剩余数据集上的整体性能。许多现有的机器遗忘方法通过在“遗忘”数据上仔细平衡梯度上升与在代表训练数据的“保留”集上进行梯度下降来应对这一挑战。然而，在许多情况下，当我们希望遗忘某些概念时，训练数据集并未完全可用，因为模型在发布时并未附带其训练数据集，而人们可能只能访问训练集的一小部分。在此，我们提出了一种名为 OrthoGrad 的新方法，该方法通过缓解遗忘集与小型保留集之间的干扰，而非相互竞争的上升和下降过程来解决问题。我们的方法将遗忘集的梯度投影到与保留批次中所有梯度正交的子空间上，有效避免了任何梯度干扰。我们在包括自动语音识别在内的多个机器遗忘基准上证明了 OrthoGrad 的有效性，其表现优于竞争方法。
引用
@article{arxiv.2503.02312,
title = {Go Beyond Your Means: Unlearning with Per-Sample Gradient Orthogonalization},
author = {Aviv Shamsian and Eitan Shaar and Aviv Navon and Gal Chechik and Ethan Fetaya},
journal= {arXiv preprint arXiv:2503.02312},
year = {2026}
}
备注
Under Review