私有随机非凸优化：自适应算法与更紧的泛化界

我们研究用于随机非凸优化的差分隐私（DP）算法。在该问题中，给定从某一分布中抽取的 $n$ 个独立同分布样本，目标是在 $p$ 维空间上最小化总体损失。我们改进了先前工作中 ${\sqrt{p}}/{\sqrt{n}}$ 的总体梯度界，得到了更尖锐的速率 $\sqrt[4]{p}/\sqrt{n}$。我们通过首次对一系列基于私有梯度的方法（包括自适应算法 DP RMSProp 和 DP Adam）提供分析得到了该速率。我们的证明技术利用了差分隐私与自适应数据分析之间的联系，以在每次迭代时界定梯度估计误差，从而规避了标准一致收敛论证带来的更差泛化界。最后，我们在两个流行的深度学习任务上评估了所提算法，并展示了 DP 自适应梯度方法相对于标准 DP SGD 的经验优势。