私有随机凸优化：ℓ1几何中的最优速率

在 $\ell_1$ 有界域上的随机凸优化在机器学习应用（如LASSO）中无处不在，但在差分隐私学习下仍知之甚少。我们证明，忽略对数因子，任何 $(\varepsilon,\delta)$-差分隐私优化器的最优超额总体损失为 $\sqrt{\log(d)/n} + \sqrt{d}/\varepsilon n$。上界基于一种新算法，该算法将~\citet{FeldmanKoTa20}的迭代局部化方法与对私有正则化镜像下降的新分析相结合。它适用于 $p\in [1,2]$ 的 $\ell_p$ 有界域，并且最多查询 $n^{3/2}$ 个梯度，优于先前已知的 $\ell_2$ 情形最佳算法（其需要 $n^2$ 个梯度）。此外，我们证明当损失函数满足额外的光滑性假设时，超额损失（忽略对数因子）由上界 $\sqrt{\log(d)/n} + (\log(d)/\varepsilon n)^{2/3}$ 限制。该界由一种仅需对数据单次遍历的Frank-Wolfe算法的新的方差缩减版本实现。我们还证明此情形下的下界为上述两个速率中的较小者。