基于费雪掩码化的机器遗忘
机器学习
2023-10-10 v1
摘要
机器遗忘旨在学习之后应请求（来自用户、模型开发者和管理员）撤销部分训练数据。大多数先前方法基于直接微调，其既不能完全移除数据，也不能在剩余数据上保持完整性能。本工作中，我们发现，通过在微调前先掩码部分重要参数，遗忘的性能可显著提升。我们提出一种基于费雪信息、专为遗忘定制的新的掩码策略。在多个数据集和网络结构上的实验显示了该方法的有效性：无需任何微调，所提出的费雪掩码即可几乎完全遗忘，同时在剩余数据上保持大部分性能。与其他遗忘基线相比，它还表现出更强的稳定性。
引用
@article{arxiv.2310.05331,
title = {Unlearning with Fisher Masking},
author = {Yufang Liu and Changzhi Sun and Yuanbin Wu and Aimin Zhou},
journal= {arXiv preprint arXiv:2310.05331},
year = {2023}
}