差分隐私生成神经网络混合模型
机器学习
2018-07-16 v4 密码学与安全
摘要
生成模型广泛应用于基于大量上下文丰富信息的场景。然而，由于可能存在对用于训练这些模型的个体数据的隐私侵犯，发布或共享生成模型并不总是可行。在本文中，我们提出了一种新技术，用于隐私保护地发布生成模型以及由这些模型生成的整个高维数据集。我们用 个生成神经网络的混合模型来建模训练数据的生成器分布。这些网络共同训练，集体学习数据集的生成器分布。数据使用一种新颖的差分隐私核 -means 算法被划分为 个簇，然后每个簇被分配给单独的生成神经网络（如受限玻尔兹曼机或变分自编码器），这些网络仅使用差分隐私梯度下降在其各自的簇上进行训练。我们在 MNIST 数据集以及通话详细记录和交通数据集上评估了我们的方法，结果表明该方法能生成逼真的合成样本，也可用于准确计算任意数量的计数查询。
引用
@article{arxiv.1709.04514,
title = {Differentially Private Mixture of Generative Neural Networks},
author = {Gergely Acs and Luca Melis and Claude Castelluccia and Emiliano De Cristofaro},
journal= {arXiv preprint arXiv:1709.04514},
year = {2018}
}
备注
A shorter version of this paper appeared at the 17th IEEE International Conference on Data Mining (ICDM 2017). This is the full version, published in IEEE Transactions on Knowledge and Data Engineering (TKDE)