面向无源机器遗忘学习

随着机器学习日益普及以及数据隐私法规的演变，从已训练模型中移除私有或受版权保护信息的能力正成为一项日益关键的需求。现有的遗忘方法通常依赖于在遗忘过程中能够访问整个训练数据集的假设。然而，在原始训练数据可能无法访问的实际场景中，即无源设定下，这一假设可能不成立。为应对这一挑战，我们聚焦于无源遗忘场景，在此场景下，遗忘算法必须能够在无需访问原始训练数据集的情况下，从已训练模型中移除特定数据。基于近期工作，我们提出了一种能够估计未知剩余训练数据 Hessian 矩阵的方法，这是实现高效遗忘的关键组成部分。利用这种估计技术，我们的方法实现了高效的零样本遗忘，同时为遗忘性能提供了稳健的理论保证，并保持了在剩余数据上的性能。在广泛数据集上的大量实验验证了我们方法的有效性。