高效隐私保护的随机非凸优化
机器学习
2023-02-03 v3 密码学与安全
最优化与控制
机器学习
摘要
尽管针对隐私保护凸经验风险最小化（ERM）已提出许多解决方案，隐私保护非凸 ERM 仍是一项挑战。我们研究非凸 ERM，其形式为在训练集上最小化有限和的非凸损失函数。我们提出一种新的用于非凸 ERM 的差分私有随机梯度下降算法，该算法高效地实现强隐私保证，并为其隐私与效用保证以及梯度复杂度提供紧致分析。我们的算法在降低梯度复杂度的同时，改进了 Wang 等人（NeurIPS 2017）给出的最佳先前效用保证。我们在基准非凸 ERM 问题上的实验表明，在相同的隐私预算下，与先前差分私有方法相比，在训练成本和效用增益方面均具有更优性能。
引用
@article{arxiv.1910.13659,
title = {Efficient Privacy-Preserving Stochastic Nonconvex Optimization},
author = {Lingxiao Wang and Bargav Jayaraman and David Evans and Quanquan Gu},
journal= {arXiv preprint arXiv:1910.13659},
year = {2023}
}
备注
29 pages, 5 figures, 3 tables. This version corrects a miscalculation in the previous proof, resulting in an improved utility bound for the algorithm