具有最优速率的私有随机凸优化

我们研究用于随机凸优化（SCO）的差分隐私（DP）算法。在该问题中，目标是给定来自凸且 Lipschitz 损失函数分布上的独立同分布样本，近似最小化总体损失。现有关于私有凸优化的大量工作聚焦于经验损失，并推导出经验损失超出量的渐近紧界。然而，总体损失的已知界存在显著差距。我们证明，在对数因子范围内，DP 算法的最优超出总体损失等于最优非私有超出总体损失与 DP 算法最优超出经验损失中的较大者。这意味着，与基于私有 ERM 的直觉相反，私有 SCO 在最常实践的参数区间内具有与非私有 SCO 相同的 $1/\sqrt{n}$ 渐近速率。此前该设置下的最佳结果给出 $1/n^{1/4}$ 的速率。我们的方法构建于现有差分隐私算法之上，并依赖算法稳定性的分析以确保泛化。