通过选择性突触抑制实现无需重训练的快速机器遗忘
机器学习
2023-12-14 v2
摘要
机器遗忘，即机器学习模型遗忘的能力，对于遵守数据隐私法规以及移除有害、被操纵或过期信息正变得愈发重要。关键挑战在于遗忘特定信息的同时保护模型在剩余数据上的性能。尽管当前最优方法表现良好，它们通常需要在保留数据上进行一定程度的重训练，以保护或恢复模型性能。这增加了计算开销，并要求训练数据长期可用可访问，而这可能不可行。相比之下，其他方法采用免重训练范式，然而这些途径计算开销 prohibitively 大，且性能不及基于重训练的对应方法。我们提出选择性突触抑制（SSD），一种新颖的两步、事后、免重训练的机器遗忘方法，其快速、高性能且不需长期存储训练数据。首先，SSD 利用训练数据与遗忘数据的 Fisher 信息矩阵来筛选对遗忘集不成比例重要的参数。其次，SSD 依据这些参数相对于更广训练数据对遗忘集的相对重要性对其进行抑制，从而诱导遗忘。我们在使用 ResNet18 与 Vision Transformer 的一系列实验中将本方法与若干现有遗忘方法比较。结果显示 SSD 性能可与基于重训练的事后方法媲美，证明了免重训练事后遗忘途径的可行性。
引用
@article{arxiv.2308.07707,
title = {Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening},
author = {Jack Foster and Stefan Schoepf and Alexandra Brintrup},
journal= {arXiv preprint arXiv:2308.07707},
year = {2023}
}
备注
Accepted as a main track paper at AAAI 2024