差分隐私模型更紧的效用界

本文通过引入广义 Bernstein 条件，在 $G$-Lipschitz、$L$-smooth 和 Polyak-Łojasiewicz 条件假设下，基于梯度扰动方法提出了首个 $\mathcal{O}\big(\frac{\sqrt{p}}{n\epsilon}\big)$ 高概率超额总体风险界的差分隐私算法。若以 $\alpha$-Hölder 光滑性（可用于非光滑设定）替代 $G$-Lipschitz 和 $L$-smooth 性质，高概率界关于 $n$ 变为 $\mathcal{O}\big(n^{-\frac{\alpha}{1+2\alpha}}\big)$，当 $\alpha\in(0,1]$ 时无法达到 $\mathcal{O}\left(1/n\right)$。为解决此问题，我们提出梯度扰动方法的一个变体，\textbf{max$\{1,g\}$-归一化梯度扰动}（m-NGP）。我们进一步表明，通过归一化，在 $\alpha$-Hölder 光滑与 Polyak-Łojasiewicz 条件假设下高概率超额总体风险界可达到 $\mathcal{O}\big(\frac{\sqrt{p}}{n\epsilon}\big)$，这是非光滑条件下差分隐私算法关于 $n$ 的首个 $\mathcal{O}\left(1/n\right)$ 高概率超额总体风险界。此外，我们在真实数据集上评估了新提出的 m-NGP 算法，实验结果表明 m-NGP 提升了差分隐私模型的性能，说明其同时改善了 DP 模型的效用界与准确率。