隐私的代价：差分隐私下参数估计的最优收敛速率

隐私保护数据分析是当代统计学中一个日益严峻的挑战，因为统计方法的隐私保证往往以准确性为代价。本文在低维经典与高维现代两种设定下，研究均值估计与线性回归中统计精度与隐私之间的权衡。主要关注点是在 (ε,δ)-差分隐私约束下建立统计估计的极小极大最优性。为此，我们发现经典的下界论证无法给出尖锐结果，需要新的技术工具。通过改进理论计算机科学文献中用于下界的“追踪敌手”技术，我们提出了带差分隐私约束的极小极大风险的一般下界论证，并将该论证应用于高维均值估计与线性回归问题。我们还设计了计算高效的算法，其达到极小极大下界仅相差对数因子。特别地，对于高维线性回归，提出了一种新颖的私有迭代硬阈值追踪算法，基于私有截断版本的随机梯度下降。这些算法的数值性能通过仿真研究及包含敏感信息的真实数据应用得以展示，而后者正需要隐私保护的统计方法。