自适应差分隐私经验风险最小化
机器学习
2021-10-26 v2 图像与视频处理
最优化与控制
机器学习
摘要
我们提出了一种用于差分隐私经验风险最小化的自适应（随机）梯度扰动方法。在每次迭代中，添加到梯度中的随机噪声会根据步长进行最优调整；我们将此过程命名为自适应差分隐私（ADP）学习。在给定相同隐私预算的情况下，我们证明，与添加普通随机噪声的标准差分隐私方法相比，ADP 方法显著提高了效用保证。我们的方法对于具有时变学习率的基于梯度的算法特别有用，包括 AdaGrad 的变体（Duchi 等人，2011）。我们提供了大量的数值实验来证明所提出的自适应差分隐私算法的有效性。
引用
@article{arxiv.2110.07435,
title = {Adaptive Differentially Private Empirical Risk Minimization},
author = {Xiaoxia Wu and Lingxiao Wang and Irina Cristali and Quanquan Gu and Rebecca Willett},
journal= {arXiv preprint arXiv:2110.07435},
year = {2021}
}