学习为深度神经网络遗忘：利用梯度投影最小化遗忘干扰
机器学习
2023-12-08 v1 计算机视觉与模式识别
摘要
近期的数据隐私法律引发了人们对机器遗忘的兴趣，即从已训练模型中移除特定训练样本的影响，仿佛它们从未出现在原始训练数据集中。机器遗忘的挑战在于，在不改变对剩余数据集知识的前提下，丢弃已学习模型中关于“遗忘”数据的信息，并且要比简单的重新训练方法更高效。为此，我们采用了一种基于投影梯度的学习方法，称为投影梯度遗忘（PGU），其中模型沿着对保留数据集不重要的梯度子空间的正交方向更新，从而保留其知识。通过利用随机梯度下降（SGD）更新模型权重，我们的方法可以高效地扩展到任何模型和数据集大小。我们提供实验证据表明，即使在训练数据集不再可访问的情况下，我们的遗忘方法也能生成与从头重新训练模型在各种指标上行为相似的模型。我们的代码可在 https://github.com/hnanhtuan/projected_gradient_unlearning 获取。
引用
@article{arxiv.2312.04095,
title = {Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection},
author = {Tuan Hoang and Santu Rana and Sunil Gupta and Svetha Venkatesh},
journal= {arXiv preprint arXiv:2312.04095},
year = {2023}
}
备注
Accepted to WACV 2024