自适应机器遗忘
机器学习
2021-06-09 v1 机器学习
摘要
数据删除算法旨在以低于完全重训模型的计算代价，从已训练模型中移除被删数据点的影响。然而，对于删除序列，非凸设定下的大多数先前工作仅对独立于已发布模型选择的序列提供有效保证。如果人们选择根据其已发布模型来删除数据（例如，因为他们不喜欢模型所揭示的关于自身的信息），则更新序列是自适应的。本文给出一种从针对自适应序列的删除保证到针对非自适应序列的删除保证的通用归约，利用差分隐私及其与最大信息的联系。结合先前工作中针对非自适应删除序列提供保证的思想，这催生了极具灵活性的算法，能够处理任意模型类与训练方法，为自适应删除序列提供强有力的可证明删除保证。我们从理论上展示了先前针对非凸模型的工作如何在对自适应删除序列时失效，并利用这一直觉设计了一种针对 Bourtoule 等人 [2021] 的 SISA 算法在 CIFAR-10、MNIST、Fashion-MNIST 上的实用攻击。
引用
@article{arxiv.2106.04378,
title = {Adaptive Machine Unlearning},
author = {Varun Gupta and Christopher Jung and Seth Neel and Aaron Roth and Saeed Sharifi-Malvajerdi and Chris Waites},
journal= {arXiv preprint arXiv:2106.04378},
year = {2021}
}