层级攻击遗忘：通过层级攻击与知识蒸馏实现快速准确的机器遗忘
机器学习
2023-12-29 v1 密码学与安全
摘要
近年来，当机器学习算法的训练数据集包含个人数据时，其引发的隐私问题引起了严重关注。各国多项法规（包括 GDPR）赋予个人删除个人数据的权利，即“被遗忘权”或“删除权”。然而，关于如何在不损害整体机器学习性能的情况下，有效且实用地从训练集中删除所请求的个人数据，研究尚少。在本工作中，我们提出了一种快速且新颖的层级机器遗忘范式，称为层级攻击遗忘，与现有的机器遗忘算法相比，它具有高准确性和快速的特点。我们引入 Partial-PGD 算法来高效定位需要遗忘的样本。此外，受 Forward-Forward 算法启发，我们仅使用模型的最后一层进行遗忘过程。最后，我们使用知识蒸馏（KD）通过软标签信息从教师模型可靠地学习决策边界，以提高准确率性能。我们用 SOTA 机器遗忘模型进行了广泛实验，证明了我们的方法在准确率和端到端遗忘性能方面的有效性。
关键词
引用
@article{arxiv.2312.16823,
title = {Layer Attack Unlearning: Fast and Accurate Machine Unlearning via Layer Level Attack and Knowledge Distillation},
author = {Hyunjune Kim and Sangyong Lee and Simon S. Woo},
journal= {arXiv preprint arXiv:2312.16823},
year = {2023}
}