基于模型反演的少样本遗忘
机器学习
2023-03-15 v2
摘要
我们考虑一个实际的机器遗忘场景，以擦除导致训练模型出现意外行为的目标数据集。在标准遗忘场景中，目标数据集通常被假定为完全可识别。然而，若在遗忘时训练数据集不可访问，这种无瑕的识别几乎不可能。与先前需要完整目标集的方法不同，我们考虑仅可用少量目标数据样本的少样本遗忘场景。为此，我们形式化少样本遗忘问题，明确遗忘请求背后的意图（例如，纯粹遗忘、错标修正、隐私保护），并设计了一个直接框架：(i) 通过模型反演检索训练数据的代理，充分利用遗忘上下文中的可用信息；(ii) 根据遗忘意图调整该代理；(iii) 用调整后的代理更新模型。我们证明，即便仅使用目标数据的子集，我们的方法也能优于即便具有完整目标数据指示的最先进遗忘方法。
引用
@article{arxiv.2205.15567,
title = {Few-Shot Unlearning by Model Inversion},
author = {Youngsik Yoon and Jinhwan Nam and Hyojeong Yun and Jaeho Lee and Dongwoo Kim and Jungseul Ok},
journal= {arXiv preprint arXiv:2205.15567},
year = {2023}
}