免费隐私：后验采样与随机梯度蒙特卡洛
机器学习
2015-04-14 v2 机器学习
摘要
我们考虑敏感数据集上的贝叶斯学习问题，并给出两个简单但有些令人惊讶的结果，将贝叶斯学习与“差分隐私(differential privacy)”联系起来，后者是一种在允许数据库级效用的同时保护个体级隐私的密码学方法。具体地，我们表明，在标准假设下，从后验分布中获取单个样本是差分隐私“免费的”。我们将看到，当所关注的贝叶斯模型是一致、最优且易处理时，该估计器在统计上一致、近最优且计算上易处理。类似但独立地，我们表明近期一系列使用随机梯度进行混合蒙特卡洛(Hybrid Monte Carlo, HMC)采样的工作也以极少或根本不修改算法过程的方式保持差分隐私，这些观察导致了一种在隐私约束下用于贝叶斯学习的“任意时间(anytime)”算法。我们证明其在合成和真实数据集上的表现远优于最先进的差分隐私方法。
引用
@article{arxiv.1502.07645,
title = {Privacy for Free: Posterior Sampling and Stochastic Gradient Monte Carlo},
author = {Yu-Xiang Wang and Stephen E. Fienberg and Alex Smola},
journal= {arXiv preprint arXiv:1502.07645},
year = {2015}
}