保留-遗忘纠缠下的机器遗忘

在机器遗忘中，遗忘一个子集很少是孤立的任务。与遗忘集密切相关的保留样本常常会受到意外影响，特别是在它们共享预训练中的相关特征或表现出强烈的语义相似性时。为应对这一挑战，我们提出了一种新颖的两阶段优化框架，专门用于处理此类保留-遗忘纠缠。在第一阶段，增广拉格朗日方法在保持与遗忘集相关性较低的保留样本准确性的同时，增加遗忘集的损失。第二阶段应用梯度投影步骤，以Wasserstein-2距离正则化，以减轻在语义相关的保留样本上的性能退化，同时不损害遗忘目标。我们通过在多个遗忘任务、标准基准数据集和多样化神经网络架构上的全面实验验证了该方法，证明它能够实现有效且可靠的遗忘，同时在准确度保留和移除保真度方面优于现有基线。