通过私有梯度下降在无约束私有GLM中规避维度灾难

我们重新审视了被广泛研究过的差分隐私经验风险最小化（ERM）问题。我们表明，对于无约束凸广义线性模型（GLMs），可获得 $\tilde O\left(\sqrt{{\texttt{rank}}}/\epsilon n\right)$ 的超额经验风险，其中 ${\texttt{rank}}$ 为GLM问题中特征矩阵的秩，$n$ 为数据样本数，$\epsilon$ 为隐私参数。该界通过差分私有梯度下降（DP-GD）达到。此外，通过针对无约束私有ERM的第一个下界，我们表明该上界是紧的。与有约束ERM设定形成鲜明对比的是，其不依赖于环境模型空间（$p$）的维数。（注意 ${\texttt{rank}}\leq \min\{n, p\}$。）此外，我们获得了类似的超额总体风险界，其依赖于 ${\texttt{rank}}$ 而非 $p$。对于光滑非凸GLM设定（即目标函数非凸但保持GLM结构），我们进一步表明DP-GD以 $\tilde O\left(\sqrt{{\texttt{rank}}}/\epsilon n\right)$ 的维度无关收敛达到底层目标的一阶驻点。最后，我们表明对于凸GLM，实践中常用的DP-GD变体（涉及对个体梯度进行裁剪）也表现出向某定义良好的目标最小值同样的维度无关收敛。为此，我们提供了一个结构引理，刻画了裁剪对DP-GD优化轮廓的影响。