关于随机梯度 MCMC 与差分隐私的关联
机器学习
2017-12-27 v1 机器学习
摘要
近来机器学习应用于现实世界取得了显著成功，同时也引发了对训练数据隐私的相应担忧，涉及数据安全与保密问题。差分隐私为机器学习模型提供了原则性且严格的隐私保证。虽然通过注入噪声来设计满足所需差分隐私性质的模型十分常见，但一般难以平衡隐私与效用的权衡。我们证明，近期提出的一类可扩展贝叶斯后验采样算法——随机梯度马尔可夫链蒙特卡洛（SG-MCMC）——在精心选择步长下满足强差分隐私。我们建立了所提差分隐私 SG-MCMC 方法的理论性能分析。实验支持我们的分析，并表明在标准默认设置下未经任何修改的标准 SG-MCMC 采样器可在贝叶斯学习中达到隐私与效用俱佳的当前最优性能。
引用
@article{arxiv.1712.09097,
title = {On Connecting Stochastic Gradient MCMC and Differential Privacy},
author = {Bai Li and Changyou Chen and Hao Liu and Lawrence Carin},
journal= {arXiv preprint arXiv:1712.09097},
year = {2017}
}