通过稳定性实现模型无关的私有学习

我们设计了与学习模型无关的微分隐私学习算法。我们的算法本质上是交互式的，即它们不对基于训练数据输出模型，而是对在线到达的一组 $m$ 个特征向量提供预测。我们表明，对于一组模型集成（在数据集的随机不相交子集上训练）做出一致预测的特征向量，为这些特征向量生成准确预测几乎无需隐私代价。为此，我们提供了一种将不稳定性距离框架与稀疏向量技术相耦合的新方法。我们针对二分类/多分类以及软标签分类提供了具有形式化隐私与效用保证的算法。对于标准（不可知）PAC 模型中的二分类，我们展示了如何从我们私有生成的预测出发，自举构建一个计算高效的私有学习器，其输出最终准确假设。据我们所知，我们的构造是首个针对标签私有学习器的计算高效构造。我们证明了该设置下的样本复杂度上界。如同非私有样本复杂度界，给定概念类唯一相关的性质是其 VC 维。对于软标签分类，我们的技术基于利用传统学习算法（如随机梯度下降（SGD））的稳定性性质。我们提供了一种将学习算法的平均情形稳定性性质提升为强（最坏情形）稳定性性质的新技术，并利用它们获得私有分类算法。在此过程中，我们还表明大类 SGD 方法满足平均情形稳定性性质，这与先前工作所示仅较小类 SGD 方法一致稳定形成对比。