基于噪声随机梯度下降的认证机器遗忘
机器学习
2025-02-04 v3 密码学与安全
摘要
由用户数据隐私法律保障的“被遗忘权”变得日益重要。机器遗忘旨在高效地移除某些数据点对已训练模型参数的影响，使其近似等同于从头重新训练模型。我们提出利用投影噪声随机梯度下降进行遗忘，并在凸性假设下建立了其首个近似遗忘保证。我们的方法展现出多项优势，包括相较于重新训练可证明的复杂度节省，以及支持顺序和批量遗忘。这两项优势均与我们关于相邻（遗忘）学习过程无限Wasserstein距离追踪的新结果密切相关。大量实验表明，在相同隐私约束下，我们的方法实现了相似的效用，而与最先进的基于梯度的近似遗忘方法相比，在小批量与全批量设置下分别仅使用了2%和10%的梯度计算量。
引用
@article{arxiv.2403.17105,
title = {Certified Machine Unlearning via Noisy Stochastic Gradient Descent},
author = {Eli Chien and Haoyu Wang and Ziang Chen and Pan Li},
journal= {arXiv preprint arXiv:2403.17105},
year = {2025}
}
备注
NeurIPS 2024. Updated title and introduction while the main results are the same. Add a discussion on utility guarantee. arXiv admin note: text overlap with arXiv:2401.10371