超越常规 Lipschitz 约束：具有 Tsybakov 噪声条件的差分隐私随机优化

我们研究了差分隐私模型下的随机凸优化 (DP-SCO)。与以往研究不同，此处我们假设总体风险函数满足参数 $\theta>1$ 的 Tsybakov 噪声条件 (TNC)，其中损失的 Lipschitz 常数可能极大甚至无界，但损失的 $\ell_2$ 范数梯度具有有界的 $k$ 阶矩，其中 $k\geq 2$。对于 $\theta\geq 2$ 的 Lipschitz 情形，我们首先提出了一种 $(\varepsilon, \delta)$-DP 算法，其效用界以高概率为 $\Tilde{O}\left(\left(\tilde{r}_{2k}(\frac{1}{\sqrt{n}}+(\frac{\sqrt{d}}{n\varepsilon}))^\frac{k-1}{k}\right)^\frac{\theta}{\theta-1}\right)$，其中 $n$ 为样本量，$d$ 为模型维度，$\tilde{r}_{2k}$ 为仅依赖于梯度 $2k$ 阶矩的项。值得注意的是，该上界与 Lipschitz 常数无关。然后我们将其推广至对于某个已知常数 $\bar{\theta}$ 满足 $\theta\geq \bar{\theta}> 1$ 的情形。此外，当隐私预算 $\varepsilon$ 足够小时，即使损失函数不是 Lipschitz 的，我们也证明了上界为 $\tilde{O}\left(\left(\tilde{r}_{k}(\frac{1}{\sqrt{n}}+(\frac{\sqrt{d}}{n\varepsilon}))^\frac{k-1}{k}\right)^\frac{\theta}{\theta-1}\right)$。对于下界，我们证明了对于任意 $\theta\geq 2$，$\rho$-零集中差分隐私的私有极小化极大速率下界为 $\Omega\left(\left(\tilde{r}_{k}(\frac{1}{\sqrt{n}}+(\frac{\sqrt{d}}{n\sqrt{\rho}}))^\frac{k-1}{k}\right)^\frac{\theta}{\theta-1}\right)$。