隐私设置下的变分贝叶斯 (VIPS)

贝叶斯数据分析的许多应用涉及敏感信息，这促使了确保隐私保护的方法的发展。我们为变分贝叶斯 (VB)——一种广泛使用的基于优化的贝叶斯推断方法——引入了一个通用的隐私保护框架。我们的框架遵循差分隐私这一黄金标准隐私准则，并涵盖了一大类称为共轭指数 (CE) 族的概率模型。我们观察到，对于 CE 族中的模型，可以通过扰动完全数据似然的期望充分统计量，直接将其近似后验分布私有化。针对一类广泛使用的非 CE 模型（即具有二项似然的模型），我们展示了如何利用 Polya-Gamma 数据增强方案，将此类模型引入 CE 族，使得修正模型中的推断尽可能接近私有变分贝叶斯算法。变分贝叶斯的迭代特性带来了进一步的挑战，因为迭代会增加所需噪声量。我们通过结合以下两点克服了该问题：(1) 一种称为 moments accountant 的改进差分隐私组合方法，它为多次 VB 迭代的隐私代价提供了紧界，从而显著减少了加性噪声的量；(2) 随机学习中从大规模数据子采样小批量所带来的隐私放大效应。我们在 CE 和非 CE 模型（包括 latent Dirichlet allocation、贝叶斯逻辑回归和 sigmoid belief networks）上，基于真实世界数据集实证展示了我们方法的有效性。