DIFF2：基于梯度差异的差分私有优化用于非凸分布式学习

本文研究非凸光滑目标下的差分私有优化。在先前工作中，就平方全梯度范数而言，已知最佳效用界为 $\widetilde O(\sqrt{d}/(n\varepsilon_\mathrm{DP}))$，由差分私有梯度下降（DP-GD）作为实例实现，其中 $n$ 为样本量，$d$ 为问题维度，$\varepsilon_\mathrm{DP}$ 为差分隐私参数。为改进该最佳已知效用界，我们提出一种新的差分私有优化框架，称为 \emph{DIFF2（基于梯度差异的 DIFFerential 私有优化）}，其基于通信的 \emph{梯度差异} 而非梯度本身构造方差可能相当小的差分私有全局梯度估计器。研究表明，采用梯度下降子程序的 DIFF2 达到 $\widetilde O(d^{2/3}/(n\varepsilon_\mathrm{DP})^{4/3})$ 的效用，就样本量 $n$ 的依赖而言显著优于先前结果。据我们所知，这是改进非凸目标标准效用 $\widetilde O(\sqrt{d}/(n\varepsilon_\mathrm{DP}))$ 的首个基础性结果。此外，我们将一个计算与通信更高效的子程序与 DIFF2 结合，并给出了其理论分析。数值实验验证了 DIFF2 框架的优越性。