具有强间隙最优率的随机鞍点问题的差分隐私算法

我们证明，凸-凹Lipschitz随机鞍点问题（亦称随机极小极大优化）可在 $(\epsilon,\delta)$-差分隐私约束下求解，其\emph{强（原始-对偶）间隙}率为 $\tilde O\big(\frac{1}{\sqrt{n}} + \frac{\sqrt{d}}{n\epsilon}\big)$，其中 $n$ 为数据集大小，$d$ 为问题维度。基于差分隐私随机优化中已有的下界，该速率近乎最优。具体而言，我们通过对用于鞍点问题的递归正则化技术进行新颖实现与分析，证明了强间隙的紧上界。我们表明，该速率可在 $O\big(\min\big\{\frac{n^2\epsilon^{1.5}}{\sqrt{d}}, n^{3/2}\big\}\big)$ 的梯度复杂度下达到，若损失函数光滑则为 $\tilde{O}(n)$ 梯度复杂度。作为我们方法的副产品，我们开发了一种通用算法，给定对满足关于经验目标的某种 $\alpha$ 原始-对偶精度保证的子程序的黑盒访问，可给出强间隙为 $\tilde{O}(\alpha+\frac{1}{\sqrt{n}})$ 的随机鞍点问题解。我们表明，经验鞍点问题的标准算法（如近端点法和随机梯度下降上升算法）满足该 $\alpha$-精度条件。进一步，我们表明即便对于简单问题，算法也可能具有零弱间隙而承受 $\Omega(1)$ 强间隙。我们还表明稳定性与精度之间存在根本权衡。具体而言，我们证明任何 $\Delta$-稳定算法的经验间隙为 $\Omega\big(\frac{1}{\Delta n}\big)$，且该界是紧的。此结果也更具体地适用于经验风险最小化问题，并可能具有独立意义。