标签差分隐私的两极：PATE 与 ALIBI
机器学习
2021-11-02 v2 密码学与安全
摘要
我们考虑隐私保护机器学习（ML）设定，其中训练模型必须相对于训练样本的标签满足差分隐私（DP）。我们提出两种分别基于 Laplace 机制与 PATE 框架的新颖方法，并在标准基准上展示其有效性。尽管 Ghazi 等人近期提出了基于随机响应机制的标签 DP 方案，我们认为加性 Laplace 噪声结合贝叶斯推断（ALIBI）更契合典型 ML 任务。此外，我们展示了在某些情形下如何通过改编 PATE 框架实现极强隐私级别，该改编建立在半监督学习的最新进展之上。我们以算法隐私保证的理论分析辅以对其记忆特性的实证评估。我们的评估表明，依据可证明的 DP 保证来比较不同算法可能产生误导，并偏爱分析更紧却隐私更弱的算法。算法实现与记忆攻击的代码可从 https://github.com/facebookresearch/label_dp_antipodes 获取。
引用
@article{arxiv.2106.03408,
title = {Antipodes of Label Differential Privacy: PATE and ALIBI},
author = {Mani Malek and Ilya Mironov and Karthik Prasad and Igor Shilov and Florian Tramèr},
journal= {arXiv preprint arXiv:2106.03408},
year = {2021}
}
备注
2021 Conference on Neural Information Processing Systems (NeurIPS)