基于公开估计子空间的高速维度无关私有AdaGrad

我们重新审视带差分隐私的经验风险最小化（ERM）问题。我们表明，给定关于梯度可抽取子空间的适当知识和条件，带噪声的AdaGrad可实现与传统AdaGrad相当的遗憾，外加一个受良好控制的由噪声引起的项。我们展示了$O(\text{Tr}(G_T)/T)$的收敛速率，其中$G_T$刻画了梯度子空间的几何结构。由于$\text{Tr}(G_T)=O(\sqrt{T})$，相比于已知带可比噪声方差的带噪声（随机）梯度下降版本所达到的$O(1/\sqrt{T})$速率，我们可以对凸且Lipschitz函数获得更快的速率。特别地，我们表明如果梯度位于已知的常数秩子空间中，并假设算法上可访问一个界定衰减敏感度的包络，则可以实现更快收敛至$\tilde O(1/\epsilon n)$的超额经验风险，其中$\epsilon$为隐私预算，$n$为样本数。令$p$为问题维度，该结果表明，通过运行带噪声的Adagrad，我们可以在$T=(\epsilon n)^{2/(1+2\alpha)}$次迭代中绕过DP-SGD界$\tilde O(\sqrt{p})/\epsilon n$，其中$\alpha \geq 0$为控制梯度范数衰减的参数，而非SGD所达到的$T=\epsilon^2n^2$速率。我们的结果在约束和无约束最小化中均适用于一般凸函数。在此过程中，我们对带噪声的AdaGrad进行了具有独立意义的扰动分析。我们对私有ERM问题的效用保证作为带噪声AdaGrad遗憾保证的推论而得出。