基于两层 ReLU 神经网络的可证明取消学习
机器学习
2025-10-17 v1 密码学与安全
神经与进化计算
机器学习
摘要
机器取消学习旨在从训练好的模型中移除特定数据，应对日益增长的隐私和伦理顾虑。我们对一种简单且广泛使用的方法——梯度上升——进行了理论分析，该方法用于在不从头重新训练的情况下消除特定数据点的影响。利用梯度下降对满足边际最大化问题 Karush-Kuhn-Tucker (KKT) 条件解的偏好，我们通过评估残留数据上这些条件的满足程度来量化已取消学习模型的质量。为正式化此想法，我们提出了新的成功准则，称为 \textbf{)-成功} 取消学习，证明对于线性模型和高维数据的两层神经网络，适当缩放的梯度上升步骤满足此准则并产生接近残留数据上重新训练解的模型。我们还展示在合成高斯混合设置中，梯度上升在仍保持泛化的同时执行成功取消学习。
引用
@article{arxiv.2510.14844,
title = {Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks},
author = {Odelia Melamed and Gilad Yehudai and Gal Vardi},
journal= {arXiv preprint arXiv:2510.14844},
year = {2025}
}