面向机器学习的差分隐私ADMM算法

Tao Xu; Fanhua Shang; Yuanyuan Liu; Hongying Liu; Longjie Shen; Maoguo Gong

面向机器学习的差分隐私ADMM算法

机器学习 2020-11-03 v1 人工智能密码学与安全数据结构与算法最优化与控制

作者: Tao Xu , Fanhua Shang , Yuanyuan Liu , Hongying Liu , Longjie Shen , Maoguo Gong

摘要

在本文中，我们研究了通过梯度扰动为许多机器学习问题设计高效的差分隐私交替方向乘子法（ADMM）。针对带有（非）光滑正则化的光滑凸损失函数，我们提出了首个具有 $(\epsilon,\delta)$ -差分隐私（ $(\epsilon,\delta)$ -DP）性能保证的差分隐私ADMM（DP-ADMM）算法。从理论分析的角度，我们利用高斯机制以及Rényi差分隐私（RDP）与DP之间的转换关系，对所提算法进行了全面的隐私分析。随后，我们建立了一个新的准则来证明包括DP-ADMM在内的所提算法的收敛性。我们还给出了DP-ADMM的效用分析。此外，我们结合Nesterov加速技术提出了加速版DP-ADMM（DP-AccADMM）。最后，我们在多个真实世界数据集上进行了数值实验，以展示两种所提算法的隐私-效用权衡，所有对比分析表明当隐私预算 $\epsilon$ 大于某一阈值时，DP-AccADMM比DP-ADMM收敛更快且效用更好。

关键词

差分隐私ADMM 梯度扰动机器学习收敛性分析效用分析 Nesterov加速隐私-效用权衡

引用

@article{arxiv.2011.00164,
  title  = {Differentially Private ADMM Algorithms for Machine Learning},
  author = {Tao Xu and Fanhua Shang and Yuanyuan Liu and Hongying Liu and Longjie Shen and Maoguo Gong},
  journal= {arXiv preprint arXiv:2011.00164},
  year   = {2020}
}

备注

11 pages, 2 figures

面向机器学习的差分隐私ADMM算法

摘要

关键词

引用

备注

相关论文