DP-LSSGD：一种提升隐私保护经验风险最小化效用的随机优化方法
机器学习
2019-12-10 v2 密码学与安全
机器学习
摘要
由差分隐私随机梯度下降（DP-SGD）训练的机器学习（ML）模型效用远低于非隐私模型。为缓解此退化，我们提出一种 DP 拉普拉斯平滑 SGD（DP-LSSGD）以在差分隐私（DP）保证下训练 ML 模型。DP-LSSGD 的核心在于拉普拉斯平滑，其将高斯机制中使用的高斯噪声平滑化。在使用与高斯机制相同噪声量的情况下，DP-LSSGD 获得相同的 DP 保证，但在实践中，DP-LSSGD 使凸与非凸 ML 模型的训练更加稳定，并令训练所得模型泛化更佳。所提算法易于实现，且与 DP-SGD 相比额外的计算复杂度和内存开销可忽略不计。DP-LSSGD 适用于训练包括 DNN 在内的多种 ML 模型。代码见 \url{https://github.com/BaoWangMath/DP-LSSGD}。
引用
@article{arxiv.1906.12056,
title = {DP-LSSGD: A Stochastic Optimization Method to Lift the Utility in Privacy-Preserving ERM},
author = {Bao Wang and Quanquan Gu and March Boedihardjo and Farzin Barekat and Stanley J. Osher},
journal= {arXiv preprint arXiv:1906.12056},
year = {2019}
}
备注
21 pages, 7 figures