差分隐私下凸机器学习中协作的价值

在本文中，我们将机器学习应用于由多个数据所有者拥有的分布式私有数据，即访问互不重叠训练数据集的实体。我们使用带噪声的差分隐私梯度，通过随机梯度下降来最小化机器学习模型的适应度代价。我们利用适应度代价量化所训练模型的质量，将其作为隐私预算与分布式数据集大小的函数，以刻画机器学习中隐私与效用之间的权衡。由此，我们能够在执行潜在计算代价昂贵的机器学习算法之前，预测注重隐私的数据所有者之间协作的结果。特别地，我们表明使用差分隐私梯度查询训练得到的机器学习模型的适应度与在无任何隐私顾虑下训练得到的机器学习模型的适应度之差，与训练数据集大小的平方及隐私预算的平方成反比。我们采用以下应用成功验证了该性能预测与所提出的隐私感知学习算法的实际性能相符：利用回归确定贷款利率的金融数据集；以及利用支持向量机检测信用卡欺诈。