SalUn：基于梯度权重显著性的机器遗忘在图像分类与生成中的赋能
机器学习
2024-04-05 v5 人工智能
摘要
随着数据法规的不断演进，机器遗忘（MU）已成为在当今AI模型中培育信任与安全的重要工具。然而，现有从数据和/或权重视角出发的MU方法常在遗忘准确性、稳定性与跨领域适用性上受限。为应对这些挑战，我们引入MU的“权重显著性”概念，类比于模型解释中的输入显著性。这一创新将MU的注意力导向特定模型权重而非整个模型，提升了有效性与效率。由此得到的方法我们称为显著性遗忘（SalUn），缩小了与“精确”遗忘（移除遗忘数据点后从头重训练模型）的性能差距。据我们所知，SalUn是首个能够同时在图像分类与生成任务中有效擦除遗忘数据、类别或概念影响的系统性MU方法。如下所示，例如，SalUn在高方差随机数据遗忘中具备稳定性优势，如在CIFAR-10数据集上与精确遗忘仅0.2%的差距。此外，在阻止条件扩散模型生成有害图像方面，SalUn实现了近100%的遗忘准确率，优于Erased Stable Diffusion和Forget-Me-Not等当前最先进基线。代码见 https://github.com/OPTML-Group/Unlearn-Saliency。（警告：本文包含可能令人不适的模型输出。）
引用
@article{arxiv.2310.12508,
title = {SalUn: Empowering Machine Unlearning via Gradient-based Weight Saliency in Both Image Classification and Generation},
author = {Chongyu Fan and Jiancheng Liu and Yihua Zhang and Eric Wong and Dennis Wei and Sijia Liu},
journal= {arXiv preprint arXiv:2310.12508},
year = {2024}
}
备注
Accepted by ICLR 2024 as a Spotlight paper