基于记忆码的一次性机器遗忘
机器学习
2024-09-26 v2 人工智能
计算机视觉与模式识别
摘要
随着深度学习的迅速普及，人工智能（AI）应用固有的伦理与隐私问题日益受到关注。机器遗忘（MU）是一个通过使训练好的 AI 模型遗忘不良训练数据来解决这些问题的研究领域。遗憾的是，大多数现有 MU 方法在遗忘时会带来显著的时间与计算成本。因此，往往难以将这些方法应用于实际数据集与复杂架构，例如 ImageNet 和 Transformer。为应对该问题，我们提出了一种轻量且有效的 MU 方法。我们的方法识别对遗忘目标敏感的模型参数，并对这些参数施加扰动。我们通过计算 Fisher 信息矩阵（FIM）来识别敏感参数。该方法无需耗时的额外遗忘训练。此外，我们引入称为记忆码（mnemonic code）的类别特定随机信号，以降低 FIM 计算的成本，而该计算通常需要全部训练数据并带来显著计算开销。在我们的方法中，我们使用记忆码训练模型；在遗忘时，我们使用少量记忆码计算 FIM 并获得用于遗忘的有效扰动。综合实验表明，我们的方法比现有 MU 方法遗忘更快且效果更好。此外，我们展示了我们的方法可扩展到更实际的数据集与复杂架构。
引用
@article{arxiv.2306.05670,
title = {One-Shot Machine Unlearning with Mnemonic Code},
author = {Tomoya Yamashita and Masanori Yamada and Takashi Shibata},
journal= {arXiv preprint arXiv:2306.05670},
year = {2024}
}
备注
24 pages, welcome coments