差分隐私变分 Dropout
机器学习
2017-12-20 v3 机器学习
摘要
具有大量参数的深度神经网络是高度灵活的学习系统。此类网络的高灵活性带来了过拟合等严肃问题，而正则化被用于解决该问题。当前流行且有效的控制过拟合的正则化技术是 dropout。通常，神经网络所需的大型数据收集包含敏感信息，例如患者的病史，因此应保护训练数据的隐私。在本文中，我们改进了最近提出的变分 dropout 技术(其给出了 dropout 的优雅贝叶斯解释)，并表明变分 dropout 中的内在噪声可被利用以获得一定程度的差分隐私。训练神经网络的迭代性质对隐私保护估计提出了挑战，因为多次迭代增加了所添加噪声的量。我们通过使用一种称为集中差分隐私(concentrated differential privacy)的宽松差分隐私概念克服了这一点，它给出了对总体隐私损失的更紧估计。我们在基准数据集上展示了我们隐私保护变分 dropout 算法的准确性。
引用
@article{arxiv.1712.02629,
title = {Differentially Private Variational Dropout},
author = {Beyza Ermis and Ali Taylan Cemgil},
journal= {arXiv preprint arXiv:1712.02629},
year = {2017}
}
备注
arXiv admin note: substantial text overlap with arXiv:1712.01665