面向隐私非凸经验风险最小化的动量聚合

我们针对光滑 $d$ 维目标上的隐私保护非凸经验风险最小化（ERM）提出了新算法与收敛保证。我们发展了针对光滑目标上随机梯度下降的改进敏感度分析，该分析利用了样本在不同轮次中的重复性。通过将这一新方法近期关于动量结合隐私聚合技术的分析相结合，我们给出了一个 $(\epsilon,\delta)$-差分隐私算法，该算法在 $O\left(\frac{N^{7/3}\epsilon^{4/3}}{d^{2/3}}\right)$ 次梯度计算内找到范数为 $\tilde O\left(\frac{d^{1/3}}{(\epsilon N)^{2/3}}\right)$ 的梯度，改进了此前最佳的 $\tilde O\left(\frac{d^{1/4}}{\sqrt{\epsilon N}}\right)$ 梯度界。