部分盲化遗忘：深度网络类别遗忘的贝叶斯视角
机器学习
2024-03-26 v1 计算机视觉与模式识别
摘要
为了遵守关于个人数据隐私和安全性的监管标准，机器学习模型必须系统地消除从用户训练数据的特定子集中派生且不能再使用的信息。新兴的机器遗忘学科已成为一个关键研究领域，它促进了从预训练模型中选择性丢弃指定给特定集合或类别数据的信息的过程，从而消除了从头开始大量重新训练的必要性。本研究的主要目标是制定一种方法论，专门用于从预训练分类网络中有意消除与特定数据类别相关的信息。这种有意移除旨在降低模型在遗忘数据类别上的性能，同时最小化对模型在其他类别性能上的任何有害影响。为实现这一目标，我们从贝叶斯视角构建了类别遗忘问题，这产生了一个损失函数，该函数最小化与遗忘数据相关的对数似然，并在参数空间中添加稳定性正则化。该稳定性正则化结合了关于Fisher信息矩阵的Mahalanobis距离和与预训练模型参数的距离。我们的新方法称为\textbf{部分盲化遗忘（PBU）}，超越了现有的最先进类别遗忘方法，展现出卓越的有效性。值得注意的是，PBU在无需了解整个训练数据集的情况下实现了这种效果，仅需遗忘数据点，这标志着其性能的一个独特特征。
引用
@article{arxiv.2403.16246,
title = {Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective},
author = {Subhodip Panda and Shashwat Sourav and Prathosh A. P},
journal= {arXiv preprint arXiv:2403.16246},
year = {2024}
}