DP-PCA：统计最优且差分隐私的主成分分析

我们研究了在 $(\varepsilon,\delta)$-差分隐私下，从 $d$ 维的 $n$ 个独立同分布数据中计算主成分这一典型统计任务。尽管已有大量文献研究，现有方案在两个关键方面存在不足：($i$) 即使对于高斯数据，现有隐私算法要求样本数 $n$ 随 $d$ 超线性增长，即 $n=\Omega(d^{3/2})$，才能取得非平凡结果，而非隐私 PCA 仅需 $n=O(d)$；($ii$) 现有技术即使在每个数据点的随机性任意小时仍存在非零误差。我们提出 DP-PCA，这是一种单遍算法，克服了上述两个局限。它基于一种私有小批量梯度上升方法，该方法依赖于{\em 私有均值估计}，通过适应给定小批量梯度的方差来添加确保隐私所需的最小噪声。对于亚高斯数据，即使 $n=\tilde O(d)$ 我们也给出了近乎最优的统计误差率。此外，我们给出了一个下界，表明亚高斯式假设在取得最优误差率中是必要的。