DeepClean：利用 Fisher 对角通过重置隐私敏感权重实现低成本机器遗忘
机器学习
2024-04-29 v2 密码学与安全
计算机视觉与模式识别
摘要
在敏感或私有数据上训练的机器学习模型可能会无意中记忆并泄露这些信息。机器遗忘旨在追溯性地从模型权重中移除此类细节以保护隐私。我们提出了一种轻量级遗忘算法，利用 Fisher 信息矩阵（FIM）进行选择性遗忘。该领域的先前工作需要完整重训练或大型矩阵求逆，计算代价高昂。我们的核心见解是，FIM 的对角元素（衡量对数似然对权重变化的敏感度）包含足以实现有效遗忘的信息。具体而言，我们针对所有可训练权重，在保留数据与遗忘数据这两个子集上计算 FIM 对角。该对角表示在大幅降低计算量的同时近似了完整 FIM。随后我们利用它选择性更新权重，以最大化对敏感子集的遗忘，同时最小化对保留子集的影响。实验表明，我们的算法能够成功遗忘跨神经网络架构的任意随机选定训练数据子集。通过利用 FIM 对角，我们的方法为机器遗忘提供了一种可解释、轻量且高效的方案，具有实际的隐私益处。
引用
@article{arxiv.2311.10448,
title = {DeepClean: Machine Unlearning on the Cheap by Resetting Privacy Sensitive Weights using the Fisher Diagonal},
author = {Jiaeli Shi and Najah Ghalyan and Kostis Gourgoulias and John Buford and Sean Moran},
journal= {arXiv preprint arXiv:2311.10448},
year = {2024}
}