面向凸优化的私有自适应梯度方法
机器学习
2021-06-28 v1 密码学与安全
最优化与控制
机器学习
摘要
我们研究差分隐私凸优化的自适应方法，提出并分析了具有自适应步长的随机梯度下降（SGD）算法以及 AdaGrad 算法的差分隐私变体。我们给出了两种算法的悔界上界，并证明这些界是（最坏情况）最优的。作为我们研究的结果，我们表明 AdaGrad 的私有版本优于自适应 SGD，而自适应 SGD 又在具有非各向同性梯度的场景中优于传统 SGD，在这些场景中（非私有）Adagrad 可证明优于 SGD。主要挑战在于，通常为隐私而添加的各向同性噪声在高维问题的梯度几何中主导了信号；有效优化低维子空间的方法简单地忽略了变化梯度几何所引入的实际问题。相反，我们研究非各向同性裁剪与噪声添加，发展了一种有原则的理论方法；由此产生的过程也比先前的方法具有显著更强的经验性能。
引用
@article{arxiv.2106.13756,
title = {Private Adaptive Gradient Methods for Convex Optimization},
author = {Hilal Asi and John Duchi and Alireza Fallah and Omid Javidbakht and Kunal Talwar},
journal= {arXiv preprint arXiv:2106.13756},
year = {2021}
}
备注
To appear in 38th International Conference on Machine Learning (ICML 2021)