含重尾数据的差分隐私随机优化：迈向最优速率

我们研究差分隐私（DP）下的凸优化问题。在重尾梯度条件下，现有方法只能达到次优速率。主要障碍在于现有梯度估计器具有次优的尾部性质，导致在联合界中产生一个多余的因子 $d$。本文探索在重尾梯度下实现差分隐私优化最优速率的算法。我们的第一种方法是一种简单的裁剪方法。在梯度有界 $p$ 阶矩的条件下，利用 $n$ 个样本，该方法在 $\epsilon\leq 1/\sqrt{d}$ 时达到 $\tilde{O}(\sqrt{d/n}+\sqrt{d}(\sqrt{d}/n\epsilon)^{1-1/p})$ 的总体风险。随后我们提出一种迭代更新方法，虽然更为复杂，但能在所有 $\epsilon\leq 1$ 的条件下达到该速率。这些结果显著优于现有方法。这种改进依赖于对梯度估计器尾部行为的仔细处理。我们的结果与 \cite{kamath2022improved} 中的极小化极大下界一致，表明在差分隐私下随机凸优化的理论极限是可以达到的。