私有学习与 sanitize：纯微分隐私与近似微分隐私

我们比较了在纯 $\epsilon$-微分隐私 [Dwork et al. TCC 2006] 和近似 $(\epsilon,\delta)$-微分隐私 [Dwork et al. Eurocrypt 2006] 下，私有学习 [Kasiviswanathan et al. 2008] 和 sanitize [Blum et al. 2008] 的样本复杂度。我们表明，在近似微分隐私下，这些任务的样本复杂度可能显著低于纯微分隐私下的样本复杂度。我们定义了一类优化问题，称为拟凹承诺问题 (Quasi-Concave Promise Problems)，它推广了我们考虑的部分任务。我们观察到，拟凹承诺问题可以利用较小规模拟凹承诺问题的解进行私有近似。这使我们能够构建一个高效的递归算法来私有地求解此类问题。具体而言，我们为高维空间中的点函数、阈值函数和轴对齐矩形构建了私有学习器。类似地，我们为点函数和阈值函数构建了 sanitize 器。我们还考察了标签私有学习器（私有学习的一种松弛形式，要求学习器仅保护样本中标签的隐私）的样本复杂度。我们证明 VC 维完全刻画了此类学习器的样本复杂度，即具有标签隐私的学习样本复杂度（至多相差常数倍）等于无隐私条件下的学习样本复杂度。