关于 Nearly Dimension-Independent Rates 的差分隐私随机鞍点问题的镜像梯度算法

我们研究了在 $\ell_1$ 环境下进行差分隐私（DP）随机（凸-凹）鞍点的問題。我们提出基于 $(\varepsilon, \delta)$-DP 的随机镜像梯度算法，能够获得预期鞍点间隙的 nearly dimension-independent 收敛率，这种保证在仅针对双线性目标时才已知。对于凸-凹和一阶光滑的随机目标，我们的算法达到的收敛率为 $\sqrt{\log(d)/n} + (\log(d)^{3/2}/[n\varepsilon])^{1/3}$，其中 $d$ 为问题维数，$n$ 为数据集大小。在额外的二阶光滑性假设下，我们展示了通过使用减偏梯度估计器，鞍点间隙以高概率受控为 $\sqrt{\log(d)/n} + \log(d)/\sqrt{n\varepsilon}$。该收敛率表明我们的 метод 方法的接近最优性，因为存在下界 $\sqrt{\log(d)/n} + \log(d)^{3/4}/\sqrt{n\varepsilon}$。最后，我们表明将这些方法与在线学习中的加速技术组合可导致第一个在 $\ell_1$ 环境下实现的、不基于 Frank-Wolfe 方法的 DP 随机凸优化算法。对于凸和一阶光滑的随机目标，我们的算法获得的剩余风险为 $\sqrt{\log(d)/n} + \log(d)^{7/10}/[n\varepsilon]^{2/5}$，在额外假设二阶光滑性后，我们将收敛率改进为 $\sqrt{\log(d)/n} + \log(d)/\sqrt{n\varepsilon}$。所有这些结果的关键工具是经典 Maurey 稀疏化引理的各种扩展 \cite{Pisier:1980}，这可能独具兴趣。