稳定遗忘：面向基础模型的有界参数高效遗忘
机器学习
2026-03-19 v2 人工智能
摘要
基础模型（如语言和视觉变换器）的机器遗忘对隐私与安全至关重要，但现有方法往往不稳定且不可靠。广泛使用的梯度差异方法，即对保留数据执行梯度下降而对被遗忘数据执行梯度上升。若与交叉熵损失组合，可能导致权重与梯度的无界增长，严重损害遗忘质量与模型保持。我们提供一个理论框架，解释此失败机制，表明上升过程会扰乱变换器前馈 MLP 层的优化。基于此洞见，我们提出*有界参数高效遗忘*（Bounded Parameter-Efficient Unlearning），通过对 MLP 适配器施加有界函数来稳定 LoRA 微调，从而控制权重动态，实现可靠收敛。在 CIFAR-100 上的 ViT 类别删除实验中，GD+Sine 是唯一在 ViT-B/16、ViT-L/14 与 DeiT-S 架构上实现高遗忘质量与模型实用性的唯一方法，并在语言模型基准（TOFU、TDEC、MUSE）上展现通用性，参数规模从 22M 至 8B 不等，实现遗忘改进且保持实用性。
引用
@article{arxiv.2509.24166,
title = {Stable Forgetting: Bounded Parameter-Efficient Unlearning in Foundation Models},
author = {Arpit Garg and Hemanth Saratchandran and Ravi Garg and Simon Lucey},
journal= {arXiv preprint arXiv:2509.24166},
year = {2026}
}
备注
In Submission