随机鞍点与变分不等式的隐私算法：超越欧几里得几何

在这项工作中，我们在欧几里得和非欧几里得设置下，对受 $(\epsilon,\delta)$-差分隐私（DP）约束的随机鞍点问题（SSP）和随机变分不等式（SVI）进行了系统研究。我们首先考虑 $\ell_p/\ell_q$ 设置下的 Lipschitz 凸-凹 SSP，其中 $p,q\in[1,2]$。在这里，我们在强 SP-gap 上获得了 $\tilde{O}\big(\frac{1}{\sqrt{n}} + \frac{\sqrt{d}}{n\epsilon}\big)$ 的边界，其中 $n$ 是样本数，$d$ 是维度。对于任意 $p,q\in[1,2]$，该速率几乎是最佳的。在没有平滑性或线性要求等额外假设的情况下，先前的 DP 工作仅在 $p=q=2$（即仅在欧几里得设置中）时获得了该速率。此外，现有的算法每个都仅被证明适用于 $p$ 和 $q$ 的特定设置以及对损失和可行集的特定假设，而我们在 $p,q\in[1,2]$ 时为 DP SSP 提供了一个通用算法。我们的结果是通过对递归正则化算法的新颖分析获得的。特别是，我们开发了用于分析泛化的新工具，这可能具有独立意义。接下来，我们将注意力转向具有单调、有界和 Lipschitz 操作符的 SVI，并考虑 $\ell_p$ 设置，$p\in[1,2]$。在这里，我们提供了第一个分析，获得了强 VI-gap 的 $\tilde{O}\big(\frac{1}{\sqrt{n}} + \frac{\sqrt{d}}{n\epsilon}\big)$ 边界。对于 $p-1=\Omega(1)$，由于现有的下界，该速率接近最优。为了获得该结果，我们开发了递归正则化的修改版本。我们的分析建立在我们为 SSP 开发的技术之上，并采用了额外的新颖组件来处理将递归正则化框架适配到 SVI 时出现的困难。