具有重尾数据的高维差分隐私随机优化

作为机器学习、统计学和差分隐私中最基本的问题之一，差分隐私随机凸优化 (DP-SCO) 近年来得到了广泛研究。然而，之前的大多数工作只能处理常规数据分布或低维空间中的不规则数据。为了更好地理解不规则数据分布带来的挑战，本文首次研究了高维空间中具有重尾数据的 DP-SCO 问题。在第一部分中，我们关注某个多面体约束（如 $\ell_1$-范数球）上的问题。我们证明，如果损失函数是光滑的且其梯度具有有界二阶矩，则在 $\epsilon$-DP 模型中可能获得 $\tilde{O}(\frac{\log d}{(n\epsilon)^\frac{1}{3}})$ 的（高概率）误差界（超额总体风险），其中 $n$ 是样本量，$d$ 是底层空间的维度。接下来，对于 LASSO，如果数据分布具有有界四阶矩，我们在 $(\epsilon, \delta)$-DP 模型中将该界改进为 $\tilde{O}(\frac{\log d}{(n\epsilon)^\frac{2}{5}})$。在本文的第二部分，我们研究了具有重尾数据的稀疏学习。我们首先重新审视稀疏线性模型，并提出了一种截断 DP-IHT 方法，其输出可以达到 $\tilde{O}(\frac{s^{*2}\log d}{n\epsilon})$ 的误差，其中 $s^*$ 是底层参数的稀疏度。然后我们研究了稀疏性（即 $\ell_0$-范数）约束下的更一般问题，并证明如果损失函数是光滑且强凸的，则可能达到 $\tilde{O}(\frac{s^{*\frac{3}{2}}\log d}{n\epsilon})$ 的误差，这在 $\tilde{O}{(\sqrt{s^*})}$ 因子内也是近似最优的。