通过层级部分机器取消知识的高效方法

机器取消知识因其能够 selectively擦除特定训练数据样本中获得的知识而引起广泛关注。这种能力使数据持有者能够严格遵守数据保护法规。然而，现有的取消技术面临实际限制，常导致性能下降、需要简短的取消后微调，并且需要大量存储。为此，本文引入了一类新的机器取消算法。第一种方法是部分忘却取消，将层级修剪与忘卸取消相结合。该方法在训练期间对模型所做的更新被修剪并存储，随后用于从训练模型中忘记特定数据。第二种方法将层级部分更新整合到标签翻转和基于优化的取消中，以缓解数据删除对模型效果的不利影响。通过详细的实验评估，我们展示了所提取消方法的有效性。实验结果表明，部分忘卸取消不仅保留了模型效果，还消除了传统忘卸取消对简短取消后微调的必要性。此外，在标签翻转和基于优化的取消技术中采用层级部分更新，相对于其朴素版本表现出更佳的模型效果保留能力。