带差分隐私的学习：稳定性、可学习性以及经验风险最小化原则的充分性与必要性

尽管机器学习已被证明是解决许多现实问题的强大数据驱动方案，但其在敏感领域的应用因隐私问题而受限。一种称为**差分隐私**的流行方法提供可证明的隐私保证，但在实践中常观察到它可能大幅损害学习精度。本文在Vapnik一般学习框架下研究带差分隐私约束的可学习性（即任何算法是否能学习某问题），并揭示了隐私、稳定性和可学习性之间的一些复杂关系。特别地，我们证明一个问题可私有学习**当且仅当**存在一个渐近最小化经验风险（AERM）的私有算法。相反，对于非私有学习，仅AERM不足以实现可学习性。这一结果表明，在寻找私有学习算法时，我们可以将搜索限制为AERM算法。鉴于此，我们提出了一个概念性过程，只要问题在隐私约束下可学习，它总能找到普遍一致算法。我们还提出了一种通用且实用的算法，并表明在非常一般的条件下，它私有地学习广泛类别的学习问题。最后，我们将部分结果推广到更实用的$(\epsilon,\delta)$-差分隐私，并确立了关于近似私有可学习问题类随$\delta$所需大小的相变存在性。