差分隐私非凸-强凹极小极大优化的改进速率

在本文中，我们研究了差分隐私（DP）模型下的（有限和）极小极大优化问题。与以往大多数关于（强）凸-凹设置或满足 Polyak-Lojasiewicz 条件的损失函数的研究不同，本文主要关注非凸-强凹设置，该设置涵盖了深度学习中的许多模型，如深度 AUC 最大化。具体而言，我们首先分析了随机梯度下降上升（SGDA）的 DP 版本，并表明有可能获得一个 DP 估计器，其经验风险函数梯度的 $l_2$ 范数以 $\tilde{O}(\frac{d^{1/4}}{({n\epsilon})^{1/2}})$ 为上界，其中 $d$ 是模型维度，$n$ 是样本大小。然后，我们提出了一种具有更小梯度噪声方差的新方法，将上界改进为 $\tilde{O}(\frac{d^{1/3}}{(n\epsilon)^{2/3}})$，这与非凸损失下 DP 经验风险最小化的已知最佳结果相匹配。我们还讨论了私有极小极大优化的几个下界。最后，在真实世界数据上对 AUC 最大化、生成对抗网络和时间差分学习进行的实验支持了我们的理论分析。