非精确遗忘需要更谨慎的评估以避免虚假的隐私感
机器学习
2024-05-22 v3 密码学与安全
摘要
模型训练的高昂成本使得开发遗忘技术变得越来越令人期待。这些技术旨在无需从头重新训练模型的情况下消除某个训练样本的影响。直观上讲，一旦模型执行了遗忘，与模型交互的对手应该不再能够判断被遗忘的样本是否包含在模型的训练集中。在隐私文献中，这被称为成员推理。在这项工作中，我们讨论了成员推理攻击 适应于遗忘设置的情况（从而产生了对应的“U-MIA”）。我们提出将现有的 U-MIA 分类为“群体 U-MIA”（对所有样本实例化相同的攻击者）和“逐样本 U-MIA”（对每个样本实例化专门的攻击者）。我们表明后一类，即攻击者针对每个受攻击样本量身定制其成员预测，要强大得多。事实上，我们的结果表明，遗忘文献中常用的 U-MIA 高估了现有遗忘技术在视觉和语言模型上提供的隐私保护。我们的研究揭示了不同样本对逐样本 U-MIA 的脆弱性存在很大差异。实际上，几种遗忘算法降低了一些（但并非全部）我们希望遗忘的样本的脆弱性，但代价是增加了其他样本的脆弱性。值得注意的是，我们发现由于遗忘的发生，剩余训练样本的隐私保护可能会恶化。我们还讨论了使用现有遗忘方案平等保护所有样本的根本困难，这是由于样本被遗忘的速率不同所致。我们证明，将遗忘停止标准针对不同样本进行简单定制的尝试无法缓解这些问题。
引用
@article{arxiv.2403.01218,
title = {Inexact Unlearning Needs More Careful Evaluations to Avoid a False Sense of Privacy},
author = {Jamie Hayes and Ilia Shumailov and Eleni Triantafillou and Amr Khalifa and Nicolas Papernot},
journal= {arXiv preprint arXiv:2403.01218},
year = {2024}
}