深度回归遗忘
机器学习
2023-06-01 v2
摘要
随着数据保护和隐私法规的引入，按需从机器学习（ML）模型中移除数据 lineage 已变得至关重要。在过去几年中，机器遗忘在高效且有效地从 ML 模型中移除某些训练数据的信息方面取得了显著进展。在这项工作中，我们探索回归问题中的遗忘，特别是在深度学习模型中。分类和简单线性回归中的遗忘已被大量研究。然而，深度回归模型中的遗忘在很大程度上至今仍是一个未触及的问题。在这项工作中，我们引入泛化良好且对隐私攻击鲁棒的深度回归遗忘方法。我们提出 Blindspot 遗忘方法，其使用一种新颖的权重优化过程。一个随机初始化的模型（部分暴露于保留样本）和原始模型的副本被共同使用，以选择性地刻印我们希望保留的数据的知识，并擦除我们希望遗忘的数据的信息。我们还提出一种用于回归遗忘的高斯微调方法。现有的分类遗忘度量不能直接应用于回归遗忘。因此，我们将这些度量适配到回归设定中。我们进行了计算机视觉、自然语言处理和预测应用的回归遗忘实验。我们的方法在所有这些数据集上的所有度量均表现出优异性能。源代码：https://github.com/ayu987/deep-regression-unlearning
引用
@article{arxiv.2210.08196,
title = {Deep Regression Unlearning},
author = {Ayush K Tarun and Vikram S Chundawat and Murari Mandal and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2210.08196},
year = {2023}
}
备注
Accepted in ICML 2023