亚二次步长的私有非光滑经验风险最小化与随机凸优化

我们研究非光滑凸函数的差分私有经验风险最小化（ERM）与随机凸优化（SCO）问题。我们以亚二次梯度复杂度获得了关于超额经验风险与超额总体损失的（近似）最优界。更确切地说，我们的差分私有算法需要 $O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$ 次梯度查询以达到最优超额经验风险，这是借助子采样与通过卷积对函数进行平滑而实现的。当 $d$ 为超常数时，这是非光滑情形下的首个亚二次算法。作为直接应用，利用 Feldman 等人 \cite{fkt20} 的迭代局部化方法，我们以 $O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\} )$ 次梯度查询实现了随机凸优化问题的最优超额总体损失。我们的工作在推进解决 Bassily 等人 \cite{bfgt20} 提出的一个问题上取得进展，给出了首个具有亚二次步长的私有 ERM 与 SCO 算法。我们注意到，Asi 等人 \cite{afkt21} 独立地给出了其他具有亚二次步长的私有 ERM 与 SCO 算法。