Renyi差分隐私下的Propose-Test-Release及其在隐私与鲁棒机器学习中的应用
密码学与安全
2022-09-19 v1 机器学习
摘要
Propose-Test-Release(PTR)是一种差分隐私框架,其基于函数的局部敏感度而非全局敏感度工作。该框架通常用于以差分隐私方式发布中位数或截尾均值等鲁棒统计量。尽管PTR是十多年前提出的通用框架,但将其用于如鲁棒SGD等需要许多自适应鲁棒查询的应用中具有挑战性。这主要由于缺乏Renyi差分隐私(RDP)分析,而RDP是基于矩会计方法实现差分隐私深度学习的基本要素。本工作中,我们推广标准PTR,并推导出当目标函数具有有界全局敏感度时其首个RDP界。我们表明,我们对PTR的RDP界比直接分析的 -DP 给出更紧的DP保证。我们还推导了PTR在子采样下的算法特定隐私放大界。我们表明,我们的界比一般上界紧得多且接近下界。我们的RDP界使得对多次自适应运行PTR的组合可进行更紧的隐私损失计算。作为我们分析的应用,我们表明PTR与我们的理论结果可用于设计拜占庭鲁棒训练算法的差分隐私变体,这些算法使用鲁棒统计量进行梯度聚合。我们在标签、特征与梯度腐败的设置下跨不同数据集与架构进行了实验。我们表明,基于PTR的隐私与鲁棒训练算法相比基线显著提升了效用。
引用
@article{arxiv.2209.07716,
title = {Renyi Differential Privacy of Propose-Test-Release and Applications to Private and Robust Machine Learning},
author = {Jiachen T. Wang and Saeed Mahloujifar and Shouda Wang and Ruoxi Jia and Prateek Mittal},
journal= {arXiv preprint arXiv:2209.07716},
year = {2022}
}
备注
NeurIPS 2022