面向平滑目标函数的高效隐私经验风险最小化
机器学习
2017-05-25 v2 数据结构与算法
机器学习
摘要
在本文中，我们从优化算法的角度研究高效差分隐私经验风险最小化。对于强凸且平滑的目标函数，我们证明了带有输出扰动的梯度下降不仅在 -DP 和 -DP 下均实现了近乎最优的效用，而且显著缩短了先前最先进隐私优化算法的运行时间。对于非凸但平滑的目标函数，我们提出了一种 RRPSGD（随机轮转隐私随机梯度下降，Random Round Private Stochastic Gradient Descent）算法，可证明其在隐私保证下收敛至平稳点。除了期望效用界限外，我们还提供了高概率形式的保证。实验表明，我们的算法在效用和运行时间上均始终优于现有方法。
引用
@article{arxiv.1703.09947,
title = {Efficient Private ERM for Smooth Objectives},
author = {Jiaqi Zhang and Kai Zheng and Wenlong Mou and Liwei Wang},
journal= {arXiv preprint arXiv:1703.09947},
year = {2017}
}