是什么让机器遗忘变得困难以及如何应对

机器遗忘是指从已训练模型中移除一部分训练数据（“遗忘集”）的影响而不损害模型效用的问题，例如为了响应用户删除其数据的请求，或移除错误标记、中毒或其他有问题的数据。由于遗忘研究仍处于起步阶段，存在许多基本的开放性问题：是否存在遗忘集的可解释特征会显著影响问题的难度？这些特征如何影响不同的最先进算法？本文提出了旨在回答这些问题的首次研究。我们确定了影响遗忘难度和遗忘算法性能的两个关键因素。在隔离了这些已识别因素的遗忘集上进行评估，揭示了最先进算法在随机遗忘集上不会出现的先前未知的行为。基于我们的洞察，我们开发了一个名为精炼遗忘元算法（RUM）的框架，包括：（i）根据不同的特征将遗忘集精炼为同质子集；以及（ii）一个元算法，它利用现有算法对每个子集进行遗忘，最终交付一个已遗忘整个遗忘集的模型。我们发现RUM显著改进了性能最佳的遗忘算法。总体而言，我们将我们的工作视为（i）加深我们对遗忘的科学理解以及（ii）揭示改进最先进技术的新途径的重要一步。