梯度上升真的必要吗？ memorization to forget 实现机器忘卸
机器学习
2026-02-09 v1
摘要
为了实现伦理与安全的人工智能，机器忘卸（machine unlearning）成为关键议题，旨在保护敏感、私有及版权知识免受滥用。为实现此目标，常采用梯度上升（GA）以逆转针对不良数据的训练。然而，这种逆转易引发灾难性崩溃，导致一般任务性能严重退化。作为解决方案，我们提出模型外推（model extrapolation）作为 GA 的替代方案，其从给定参考模型的模型到达假设空间中的相对方向。因此，我们以原始模型为参考，进一步训练以记忆不良数据，同时保持对其余保留数据的预测一致性，以获得记忆模型。尽管听起来反直觉，记忆模型可通过外推从记忆模型推导出忘卸模型。因此，我们不通过 GA 直接获取忘卸模型，而是对记忆模型进行梯度下降，这成功地稳定了机器忘卸过程。我们的模型外推实施简单高效，且能有效收敛以实现 improved 的忘卸性能。
引用
@article{arxiv.2602.06441,
title = {Is Gradient Ascent Really Necessary? Memorize to Forget for Machine Unlearning},
author = {Zhuo Huang and Qizhou Wang and Ziming Hong and Shanshan Ye and Bo Han and Tongliang Liu},
journal= {arXiv preprint arXiv:2602.06441},
year = {2026}
}