一般范数下的私有凸优化

我们提出一种用于差分私有优化凸函数的新框架，这些函数在任意范数 $\|\cdot\|$ 下为 Lipschitz 连续。我们的算法基于正则化指数机制，该机制从密度 $\propto \exp(-k(F+\mu r))$ 中采样，其中 $F$ 为经验损失，$r$ 为关于 $\|\cdot\|$ 强凸的正则化项，从而将 [Gopi, Lee, Liu '22] 近期的工作推广到非欧氏设定。我们证明该机制满足高斯差分隐私，并利用凸几何中的局部化工具解决 DP-ERM（经验风险最小化）与 DP-SCO（随机凸优化）。我们的框架是首个适用于一般赋范空间中的私有凸优化的框架，并且当隐私参数 $\epsilon \to \infty$ 时直接恢复由镜像下降实现的非私有 SCO 速率。作为应用，对于 $p \in (1, 2)$ 的所有 $\ell_p$ 范数下的 Lipschitz 优化，我们获得了首个最优的隐私-效用权衡；对于 $p = 1$，我们比近期工作 [Asi, Feldman, Koren, Talwar '21, Bassily, Guzman, Nandi '21] 所得权衡至少改进了一个对数因子。我们的 $\ell_p$ 范数与 Schatten-$p$ 范数优化框架配有多项式时间采样器，我们明确给出了其查询复杂度的上界。