倒带删除：非凸函数的认证机器遗忘

机器遗忘算法旨在高效地从模型中移除数据，而无需从头重新训练，以便移除损坏或过时的数据，或尊重用户的“被遗忘权”。认证机器遗忘是一种基于差分隐私的强理论保证，它量化了算法从模型权重中擦除数据的程度。与现有针对凸或强凸损失函数，或具有限制性假设的非凸目标函数的认证遗忘工作不同，我们提出了第一个针对一般非凸损失函数的一阶、黑盒（即，可应用于使用普通梯度下降预训练的模型）遗忘算法，该算法通过在保留数据点的损失函数上执行梯度下降之前，“倒带”到学习过程中的更早步骤来实现遗忘。我们证明了$(\epsilon, \delta)$认证遗忘和性能保证，确立了算法的隐私-效用-复杂度权衡，并且我们证明了满足Polyak-Lojasiewicz不等式的函数的泛化保证。最后，我们在一个新的实验框架中展示了我们的算法相比现有方法的优越性能，该框架更准确地反映了实践中遗忘用户数据的情况。