面向高删除比率的最小梯度依赖机器遗忘
机器学习
2024-06-26 v1 人工智能
密码学与安全
摘要
在机器遗忘的语境中，主要挑战在于有效地从训练好的模型中删除私有数据的痕迹，同时保持模型性能和对隐私攻击（如成员推断攻击）的安全性。传统的基于梯度的遗忘方法常依赖大量历史梯度，这在高删除比率下变得不实用，可能降低遗忘效果。针对这些限制，我们引入了 Mini-Unlearning，这是一种新方法，基于一个关键观察：未遗忘的参数与重新训练的参数之间存在收缩映射关系。我们的 Mini-Unlearning 方法利用最小化的历史梯度子集，并利用这一收缩映射来实现可扩展、高效的遗忘。这种轻量级、可扩展的方法显著提高了模型准确率，并加强了对成员推断攻击的抵抗力。我们的实验表明，Mini-Unlearning 不仅适用于更高的删除比率，而且在准确率和安全性方面均优于现有技术，为需要强大遗忘能力的应用提供了有前景的解决方案。
引用
@article{arxiv.2406.16986,
title = {Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios},
author = {Tao Huang and Ziyang Chen and Jiayang Meng and Qingyu Huang and Xu Yang and Xun Yi and Ibrahim Khalil},
journal= {arXiv preprint arXiv:2406.16986},
year = {2024}
}