MUSO：实现过参数化 regimes 中的精确机器遗忘
机器学习
2025-07-21 v2
摘要
机器遗忘（MU）旨在使训练良好的模型行为就好像从特定数据中从未被训练一样。在当今参数化程度过高的模型中，主流方法是手动重新标记数据并对训练好的模型进行微调。这可以在输出空间近似 MU 模型，但问题仍在于是否能在参数空间实现精确的 MU。我们通过采用随机特征技术构建分析框架来回答这一问题。在随机梯度下降模型优化的前提下，我们理论上证明了过参数化线性模型可以通过重新标记特定数据实现精确的 MU。我们还将此工作扩展到真实世界的非线性网络，提出了一种统一遗忘和重新标记任务的交替优化算法。通过数值实验确认该算法的有效性，突出其在各种场景下的优异遗忘性能，尤其在与当前最先进方法相比时，尤其优于类似的重新标记基于 MU 方法。
引用
@article{arxiv.2410.08557,
title = {MUSO: Achieving Exact Machine Unlearning in Over-Parameterized Regimes},
author = {Ruikai Yang and Mingzhen He and Zhengbao He and Youmei Qiu and Xiaolin Huang},
journal= {arXiv preprint arXiv:2410.08557},
year = {2025}
}
备注
Accepted by Machine Learning Journal