面向纯微分隐私与高斯微分隐私的可处理 MCMC 私有学习
机器学习
2024-05-02 v2 机器学习
摘要
后验采样（即从后验分布中采样的指数机制）提供 -纯微分隐私（DP）保证，且不会遭受 -近似 DP 引入的潜在无界隐私泄露。然而在实践中，人们需要应用如马尔可夫链蒙特卡洛（MCMC）等近似采样方法，从而将不理想的 -近似误差重新引入隐私保证中。为弥补这一差距，我们提出近似采样扰动（简称 ASAP）算法，该算法以与 MCMC 样本到满足纯 DP 或纯高斯 DP（即 ）的参考分布的 Wasserstein-无穷（）距离成比例的噪声扰动样本。我们随后利用 Metropolis-Hastings 算法生成样本，并证明该算法在 距离下收敛。我们表明，通过将我们的新技术与局部化步骤结合，我们获得了首个在具有强凸且光滑损失的 DP-ERM 问题中达到最优速率的近线性时间算法。
引用
@article{arxiv.2310.14661,
title = {Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy},
author = {Yingyu Lin and Yi-An Ma and Yu-Xiang Wang and Rachel Redberg and Zhiqi Bu},
journal= {arXiv preprint arXiv:2310.14661},
year = {2024}
}