差分隐私随机优化：凸与非凸设置下的新结果

我们研究凸与非凸设置下的差分隐私随机优化。对于凸情形，我们关注非光滑广义线性损失（GLLs）族。我们在 $\ell_2$ 设置下的算法在近线性时间内达到了最优的超额总体风险，而已知最好的针对一般凸损失的差分隐私算法运行于超线性时间。我们在 $\ell_1$ 设置下的算法具有近最优的超额总体风险 $\tilde{O}\big(\sqrt{\frac{\log{d}}{n\varepsilon}}\big)$，并规避了 \cite{Asi:2021} 针对一般非光滑凸损失的维度相关下界。在差分隐私非凸设置下，我们提供了几种用于近似总体风险驻点的新算法。对于具有光滑损失和多面体约束的 $\ell_1$ 情形，我们给出了首个近维度无关速率，在线性时间内达到 \tilde O\big(\frac{\log^{2/3}{d}}{{(n\varepsilon)^{1/3}}\big)。对于具有光滑损失的约束 $\ell_2$ 情形，我们获得了速率为 $\tilde O\big(\frac{1}{n^{1/3}}+\frac{d^{1/5}}{(n\varepsilon)^{2/5}}\big)$ 的线性时间算法。最后，对于 $\ell_2$ 情形，我们提供了首个针对{\em 非光滑弱凸}随机优化的方法，速率为 $\tilde O\big(\frac{1}{n^{1/4}}+\frac{d^{1/6}}{(n\varepsilon)^{1/3}}\big)$，当 $d= O(\sqrt{n})$ 时与现有最好的非隐私算法相匹配。我们还将上述非凸 $\ell_2$ 设置下的所有结果扩展到 $\ell_p$ 设置，其中 $1 < p \leq 2$，且速率仅具有（维度上的）多对数开销。