基于遗忘梯度引导的课程遗忘框架 CUFG
机器学习
2025-09-19 v1
摘要
随着隐私和安全在人工智能中受到重视，机器遗忘——从模型中擦除特定知识的能力——受到日益关注。然而，现有方法过于强调效率和激进遗忘，导致显著局限。特别是梯度上升、影响函数和随机标签噪声等激进干预会损害模型权重，导致崩溃和可靠性下降。为此，我们提出 CUFG (基于遗忘梯度引导的课程遗忘)，一种新框架通过创新忘记机制和数据调度策略来增强近似遗忘的稳定性。具体而言，CUFG 集成了一种基于遗忘梯度的新型梯度校正器，用于基于微调的遗忘，以及一种渐进式课程遗忘范式，从易到难进行遗忘。这些创新通过使更稳定、渐进的遗忘更接近金标准 Retrain 方法，缩小了与金标准之间的差距，从而提高了有效性和可靠性。我们认为课程遗忘的概念具有巨大的研究潜力，为 MU 领域的发展提供前瞻性见解。广泛的实验在各种遗忘场景下验证了我们方法的合理性和有效性。代码已公开：https://anonymous.4open.science/r/CUFG-6375
引用
@article{arxiv.2509.14633,
title = {CUFG: Curriculum Unlearning Guided by the Forgetting Gradient},
author = {Jiaxing Miao and Liang Hu and Qi Zhang and Lai Zhong Yuan and Usman Naseem},
journal= {arXiv preprint arXiv:2509.14633},
year = {2025}
}
备注
under review (early)