IMU：影响引导的机器遗忘
机器学习
2026-04-15 v3 密码学与安全
计算机视觉与模式识别
摘要
机器遗忘 (Machine Unlearning, MU) 旨在选择性地从预训练模型中抹除特定数据点的影响。然而，现有的多数 MU 方法依赖保留集来维持模型效用，但由于隐私限制和存储约束，这往往是不切实际的。尽管有几种无需保留数据的方法试图通过几何特征偏移或辅助统计量来绕过这一限制，但它们通常将遗忘样本同质化处理，忽略了其异质性的贡献。为了解决这一问题，我们提出了影响引导的机器遗忘 (Influence-guided Machine Unlearning, IMU)，这是一种仅使用遗忘集进行 MU 的原则性方法。不同于统一的梯度上升 (Gradient Ascent, GA) 或隐式加权机制，IMU 利用影响函数作为显式的优先级信号来分配遗忘强度。为了避免全模型 Hessian 矩阵求逆的过高计算成本，我们引入了一种具有理论依据的分类器级影响近似。这种高效的设计允许 IMU 动态地重新加权遗忘更新，积极针对最强烈支持遗忘目标的样本，同时最小化对已保留知识的不必要扰动。在视觉和语言任务上的大量实验表明，IMU 取得了极具竞争力的结果。与标准的统一 GA 相比，IMU 在保持相同遗忘深度的同时，将模型效用平均提升了 30%，有效克服了效用与遗忘之间固有的权衡。
引用
@article{arxiv.2508.01620,
title = {IMU: Influence-guided Machine Unlearning},
author = {Xindi Fan and Jing Wu and Mingyi Zhou and Pengwei Liang and Mehrtash Harandi and Dinh Phung},
journal= {arXiv preprint arXiv:2508.01620},
year = {2026}
}