DeepObliviate：消除深度神经网络中数据残差记忆的有力法术

机器遗忘在保证模型安全与保护用户隐私方面具有重要意义。此外，许多法律条款明确规定用户有权要求模型提供者从其训练集中删除自身数据，即被遗忘权。朴素的遗忘数据方法是不带该数据从头重训模型，这在现代规模的深度神经网络下变得极其耗费时间与资源。其他通过重构模型或训练数据来实现遗忘的方法难以在开销与模型可用性之间取得平衡。本文中，我们提出一种称为 DeepObliviate 的方法，以高效实现机器遗忘，且无需修改正常训练模式。我们的方法通过在中硬盘上存储中间模型来改进原始训练过程。给定待遗忘的数据点，我们首先量化其在存储模型中留下的时间残差记忆。受影响的模型将被重训，并基于残差记忆的实时趋势决定何时终止重训。最后，我们通过结合重训模型与未受影响模型拼接出遗忘后的模型。我们在五个数据集与深度学习模型上广泛评估了我们的方法。与从头重训方法相比，我们的方法在 MNIST、SVHN、CIFAR-10、Purchase 与 ImageNet 数据集上分别可达到 99.0%、95.0%、91.9%、96.7%、74.1% 的准确率与 66.7$\times$、75.0$\times$、33.3$\times$、29.4$\times$、13.7$\times$ 的加速比。与最先进的遗忘方法相比，我们在这些数据集上平均提升了 5.8% 准确率、32.5$\times$ 预测加速，并达到了可比较的重训加速。此外，DeepObliviate 还能通过基于后门的遗忘验证。