WIN-U：基于Woodbury恒等式的无保留数据机器遗忘框架
机器学习
2026-04-16 v1
摘要
LLMs中的隐私关注导致对执行数据"被遗忘权"的需求迅速增长。机器遗忘正是解决此问题的任务，即从训练好的模型中移除特定数据的影响，即遗忘集合。机器遗忘的金标准是产生仅在其余训练数据（即保留集合）上学习的模型。大多数现有遗忘方法依赖对保留数据的直接访问，可能由于隐私或成本限制而难以实现。我们提出了WIN-U，一个无保留数据访问的遗忘框架，仅需对原始在完整数据上训练的模型获取二阶信息。通过单次牛顿式步骤执行遗忘。利用Woodbury矩阵恒等式和对遗忘集合曲率的广义高斯-牛顿近似，WIN-U更新恢复闭式线性解，并作为金标准重新训练最优的局部二阶近似。广泛的在各种视觉和语言基准上的实验表明，WIN-U在遗忘有效性和实用性保存方面实现了SOTA性能，同时在与现有方法相比更抗relearning攻击。重要的是，WIN-U不需要访问保留数据。
引用
@article{arxiv.2604.13438,
title = {WIN-U: Woodbury-Informed Newton-Unlearning as a retain-free Machine Unlearning Framework},
author = {Xingjian Zhao and Mohammad Mohammadi Amiri and Malik Magdon-Ismail},
journal= {arXiv preprint arXiv:2604.13438},
year = {2026}
}
备注
21 pages, 3 figures, under review at COLM2026