用户级私有随机凸优化的更快算法

我们研究受用户级差分隐私约束下的私有随机凸优化（SCO）。在此设置下，有 $n$ 个用户（例如手机设备），每个用户拥有 $m$ 个数据项（例如短信），我们需要保护每个用户整个数据集合的隐私。现有针对用户级 DP SCO 的算法在许多大规模机器学习场景中是不可行的，因为：（i）它们对损失函数的光滑性参数提出限制性假设，要求用户数量随参数空间维度的多项式增长；或（ii）它们运行缓慢，需要针对光滑损失至少 $(mn)^{3/2}$ 次梯度计算，或针对非光滑损失 $(mn)^3$ 次计算。为克服这些限制，我们提供了具备最优剩余风险和运行时保证的新型用户级 DP算法，无需严格假设。首先，我们开发了一个在轻微光滑性假设下具有线性时间复杂度的最优剩余风险（对于非平凡的线性时间算法）算法。我们的第二个算法适用于任意光滑损失，实现约 $(mn)^{9/8}$ 次梯度计算的最优剩余风险。对于非光滑损失函数，我们在 $n^{11/8} m^{5/4}$ 次梯度计算中获得最优剩余风险。此外，我们的算法不需要用户数量随维度的多项式增长。