SSSE：从已训练机器学习模型中高效擦除样本
机器学习
2021-07-09 v1 机器学习
摘要
大量用户提供的数据的可用性，一直是机器学习在许多现实任务中取得成功的关键。近来，人们日益意识到用户应被赋予更多对其数据如何被使用的控制权。特别是，用户应有权禁止其数据用于训练机器学习系统，并有权将其从已训练系统中擦除。尽管已有若干样本擦除方法被提出，但它们均有阻碍广泛采用的缺陷。多数方法要么仅适用于非常特定的模型族，要么牺牲过多原模型精度，要么具有难以承受的内存或计算需求。本文中，我们提出一种高效且有效的样本擦除算法 SSSE，其适用于广泛的机器学习模型类别。通过对模型损失景观的二阶分析，我们导出了模型参数的闭式更新步，其仅需访问待擦除数据，而无需原始训练集。在三个数据集 CelebFaces attributes (CelebA)、Animals with Attributes 2 (AwA2) 与 CIFAR10 上的实验表明，在某些情况下 SSSE 几乎能像最优却 impractical（不实用）的黄金标准——仅用被许可数据从头训练新模型——那样好地擦除样本。
引用
@article{arxiv.2107.03860,
title = {SSSE: Efficiently Erasing Samples from Trained Machine Learning Models},
author = {Alexandra Peste and Dan Alistarh and Christoph H. Lampert},
journal= {arXiv preprint arXiv:2107.03860},
year = {2021}
}