生成对抗网络遗忘学习
机器学习
2023-08-22 v1 密码学与安全
摘要
随着机器学习持续发展以及数据滥用丑闻愈发频繁，个人对其信息的担忧日益加剧，并主张删除自身数据的权利。机器遗忘学习（machine unlearning）已成为从已训练机器学习模型中擦除训练数据的一种解决方案。尽管其在分类器中已取得成效，但由于生成对抗网络（GANs）具有包含生成器与判别器的独特架构，相关研究仍十分有限。一项挑战涉及生成器遗忘，因为该过程可能破坏潜空间的连续性与完整性，进而降低遗忘后模型的有效性。另一挑战在于如何定义判别器针对被遗忘图像应遵循的准则。本文引入一种替代机制并定义伪标签，以有效缓解这些挑战。基于该替代机制与伪标签，我们提出一种级联遗忘方法，用于 GAN 模型中的样本级与类别级遗忘，其中遗忘与学习过程以级联方式运行。我们使用 MNIST 与 CIFAR-10 数据集对级联遗忘技术进行了全面评估。实验结果表明，与从头重训练相比，该方法在样本级与类别级遗忘效率上显著提升，在 MNIST 与 CIFAR-10 数据集上分别将所需时间减少多达 185 倍与 284 倍。值得注意的是，尽管模型在遗忘后性能有轻微下降，但当处理极少数量图像（如 64 张）时该退化可忽略不计，且对分类等下游任务无不利影响。
引用
@article{arxiv.2308.09881,
title = {Generative Adversarial Networks Unlearning},
author = {Hui Sun and Tianqing Zhu and Wenhan Chang and Wanlei Zhou},
journal= {arXiv preprint arXiv:2308.09881},
year = {2023}
}