边界化成员推断
机器学习
2022-12-20 v4
摘要
差分隐私（DP）是推理训练算法隐私保证的事实标准。尽管经验观察表明 DP 降低了模型对现有成员推断（MI）攻击的脆弱性，但文献中很大程度上缺乏关于为何如此的理论基础。在实践中，这意味着模型需要以大幅降低准确率的 DP 保证进行训练。在本文中，我们提供了当训练算法提供 (ε, δ)-DP 时，任何 MI 敌手的正向准确率（即攻击精度）的更紧界。我们的界启发了一种新颖的隐私放大方案的设计：在训练开始前从一个更大的集合中子采样出有效的训练集。我们发现这极大地降低了 MI 正向准确率的界。因此，我们的方案允许使用更宽松的 DP 保证来限制任何 MI 敌手的成功率；这确保了模型的准确率受隐私保证的影响较小。虽然这显然有利于那些拥有远超训练所需数据量的实体，它也能改善学术文献中研究的基准上的准确率-隐私权衡。因此，我们还发现，在 MNIST 和 CIFAR10 上，子采样比以更强 DP 保证训练更能有效降低最先进 MI 攻击（LiRA）的有效性。最后我们讨论了我们的 MI 界对机器遗忘领域的影响。
引用
@article{arxiv.2202.12232,
title = {Bounding Membership Inference},
author = {Anvith Thudi and Ilia Shumailov and Franziska Boenisch and Nicolas Papernot},
journal= {arXiv preprint arXiv:2202.12232},
year = {2022}
}