标签平滑改进机器消忘
机器学习
2024-06-13 v1
摘要
机器消忘（MU）的目标是从模型中消除先前学习的数据。然而，在使用现有MU技术时，计算成本与性能之间的平衡具有挑战性。借鉴标签平滑对模型置信度和差分隐私的影响，我们提出一种简单基于梯度的MU方法，该方法使用标签平滑的逆过程。本工作引入了UGradSL，这是一种简单、即插即用的方法，利用平滑标签。我们提供的理论分析表明，正确引入标签平滑如何改进MU性能。我们在六个大小各异且模态不同的数据集上进行了大量实验，证明了所提出方法的有效性和鲁棒性。该方法在仅增加少量计算成本的情况下， consistently 改进了MU性能。例如，UGradSL在不牺牲消忘效率的前提下，将梯度升数MU基线提高了66%的消忘准确率。
引用
@article{arxiv.2406.07698,
title = {Label Smoothing Improves Machine Unlearning},
author = {Zonglin Di and Zhaowei Zhu and Jinghan Jia and Jiancheng Liu and Zafar Takhirov and Bo Jiang and Yuanshun Yao and Sijia Liu and Yang Liu},
journal= {arXiv preprint arXiv:2406.07698},
year = {2024}
}