CRFU：面向机器遗忘中隐私泄露的压缩表征遗忘方案
密码学与安全
2025-03-04 v1
摘要
机器遗忘允许数据所有者从已训练模型中擦除其指定数据的影响。不幸的是，近期研究表明，攻击者能够恢复被擦除的数据，对用户隐私构成严重威胁。有效的遗忘方法会从已训练模型中移除指定数据的信息，导致相同输入在遗忘前后产生不同输出。攻击者可利用这些输出差异实施隐私泄露攻击，例如重构攻击和成员推断攻击。然而，直接将传统防御方法应用于遗忘过程会导致模型效用显著下降。本文提出了一种压缩表征遗忘方案（CRFU），旨在防范遗忘过程中的隐私泄露。CRFU 通过最小化已训练的压缩表征（通过信息瓶颈理论习得）与被擦除数据之间的互信息来实现数据擦除，从而最大化数据的失真。这确保了模型输出中包含更少可供攻击者利用的信息。此外，我们引入了一个记忆约束项和一个遗忘率，以平衡对擦除数据的遗忘与对先前所学知识的保留，从而降低准确率下降。理论分析表明，CRFU 能够有效防御隐私泄露攻击。我们的实验结果显示，CRFU 显著提高了重构均方误差（MSE），在 MNIST 数据集上仅造成 1.5% 的准确率下降，就实现了约 200% 的针对隐私重构攻击的防御效果提升。
引用
@article{arxiv.2503.00062,
title = {CRFU: Compressive Representation Forgetting Against Privacy Leakage on Machine Unlearning},
author = {Weiqi Wang and Chenhan Zhang and Zhiyi Tian and Shushu Liu and Shui Yu},
journal= {arXiv preprint arXiv:2503.00062},
year = {2025}
}