基于迭代 Hessian 混合的近最优私有线性回归

我们研究了通过草图机制实现的有界数据 $(X,Y)$ 下的差分隐私普通最小二乘（DP-OLS）问题。虽然已探索了高斯草图方法用于 DP-OLS \citep{sheffet2017differentially}，但通常认为其不如自适应充分统计量扰动（AdaSSP）方法 \citep{wang_adassp} 高效，后者直接扰动充分统计量 $(X^{\top}X, X^{\top}Y)$。该方法被证明接近信息论最优，同时也表现出强大的实验性能。在本工作中，我们提出了\emph{迭代 Hessian 混合}（IHM），一种基于高斯草图方法的算法，灵感来自 Iterative Hessian Sketch \citet{pilanci_hessiansketch}。我们证明 IHM 具备差分隐私性质，并给出以经验风险为界的实用性保证。这些界限相较于 AdaSSP 有效地消除了一个最大可达数据维数平方根的乘子因子。IHM 的设计基于我们为先前 DP-OLS 的高斯草图方法提出的新型精度保证，这阐明了这些方法的运行条件及 IHM 如何规避其固有局限。我们还对大型数据集进行严格的实证评估，结果表明 IHM 在所有基准方法中均表现出色，包括 AdaSSP。