基于指数机制的私有凸优化

在本文中，我们研究 $\mathbb{R}^d$ 上非光滑凸函数 $F(x)=\mathbb{E}_i f_i(x)$ 的私有优化问题。我们证明，通过对 $F(x)$ 添加 $\ell_2^2$ 正则化项并从 $\pi(x)\propto \exp(-k(F(x)+\mu\|x\|_2^2/2))$ 中采样来改进指数机制，可在 $(\epsilon,\delta)$-DP 下同时恢复已知的最优经验风险与总体损失。此外，我们展示了如何使用对 $f_i(x)$ 的 $\widetilde{O}(n \min(d, n))$ 次查询来实现该机制（针对 DP-SCO），其中 $n$ 为样本/用户数，$d$ 为环境维度。我们还给出了评估查询次数的（近乎）匹配下界 $\widetilde{\Omega}(n \min(d, n))$。我们的结果利用了以下具有独立意义的工具：(1) 我们证明了当损失函数强凸且扰动为 Lipschitz 时指数机制的高斯差分隐私(GDP)。我们的隐私界是\emph{最优的}，因为它将高斯机制的隐私作为特例包含，并通过对强对数凹测度的等周不等式证明。(2) 我们展示了如何使用对 $F(x)$ 的 $\widetilde{O}((G^2/\mu) \log^2(d/\eta))$ 次无偏查询，从 $\exp(-F(x)-\mu \|x\|^2_2/2)$ 中采样（$F$ 为 $G$-Lipschitz），使总变差(TV)距离误差为 $\eta$。这是首个查询复杂度对维度 $d$ 和精度 $\eta$ 均具有\emph{多对数依赖}的采样器。