私有随机凸优化的更快收敛速率

在本文中，我们重新审视差分私有随机凸优化（DP-SCO）问题，并针对某些特殊函数类给出比先前一般凸与强凸函数结果更快的超额总体风险界。在论文第一部分，我们研究总体风险函数满足参数为 $\theta>1$ 的 Tysbakov 噪声条件（TNC）的情形。具体而言，我们首先证明在损失函数的一些温和假设下，存在一种算法，当 $\theta\geq 2$ 时其输出在 $(\epsilon, \delta)$-DP 下可达到 $\tilde{O}((\frac{1}{\sqrt{n}}+\frac{\sqrt{d\log \frac{1}{\delta}}}{n\epsilon})^\frac{\theta}{\theta-1})$ 的上界，其中 $n$ 为样本量，$d$ 为空间维数。随后我们解决低效问题，将上界改进 $\text{Poly}(\log n)$ 因子并推广到存在已知 $\bar{\theta}$ 且 $\theta\geq \bar{\theta}>1$ 的情形。接着我们证明，满足参数 $\theta\geq 2$ 的 TNC 的总体函数，其超额总体风险在 $\epsilon$-DP 与 $(\epsilon, \delta)$-DP 下分别始终被 $\Omega((\frac{d}{n\epsilon})^\frac{\theta}{\theta-1})$ 与 $\Omega((\frac{\sqrt{d\log \frac{1}{\delta}}}{n\epsilon})^\frac{\theta}{\theta-1})$ 下界所限制。在第二部分，我们关注总体风险函数强凸的特殊情形。与以往研究不同，此处我们假设损失函数{\em 非负}且{\em 总体风险的最优值足够小}。借助这些附加假设，我们提出一种新方法，在样本量 $n$ 足够大时，其输出在 $(\epsilon,\delta)$-DP 模型下对任意 $\tau\geq 1$ 可达到 $O(\frac{d\log\frac{1}{\delta}}{n^2\epsilon^2}+\frac{1}{n^{\tau}})$ 的上界。