重加权随机查询并行与隐私保护随机凸优化

我们为随机凸优化（SCO）引入一个新工具：用于函数与（高斯）概率密度卷积后梯度的重加权随机查询（ReSQue）估计器。将 ReSQue 与近期在球 oracle 加速方面的进展 [CJJJLST20, ACJJS21] 相结合，我们开发了在并行与隐私设置下达到 SCO 最优复杂度的算法。对于约束在 $\mathbb{R}^d$ 中单位球上的 SCO 目标，我们得到如下结果（忽略多对数因子）。我们给出一个并行算法，在假设可访问有界方差随机梯度估计器的情况下，以 $d^{1/3}\epsilon_{\text{opt}}^{-2/3}$ 的梯度 oracle 查询深度和总计 $d^{1/3}\epsilon_{\text{opt}}^{-2/3} + \epsilon_{\text{opt}}^{-2}$ 次梯度查询获得优化误差 $\epsilon_{\text{opt}}$。对于 $\epsilon_{\text{opt}} \in [d^{-1}, d^{-1/4}]$，我们的算法匹配 [BJLLS19] 的最优 oracle 深度，同时保持随机梯度下降的最优总工作量。给定 $n$ 个 Lipschitz 损失函数的样本，先前工作 [BFTT19, BFGT20, AFKT21, KLL21] 已确立若 $n \gtrsim d \epsilon_{\text{dp}}^{-2}$，则 $(\epsilon_{\text{dp}}, \delta)$-差分隐私在 SCO 效用上无渐近代价地实现。然而，这些先前工作都要求超线性的梯度查询次数。对于足够大的 $n \gtrsim d^2 \epsilon_{\text{dp}}^{-3}$，我们通过使用 ReSQue 设计在此情形下具有近线性梯度查询复杂度的算法，弥补了这一差距。