非共轭模型的微分隐私变分推断

许多机器学习应用基于从人们收集的数据，例如他们的喜好和行为以及生物特征和遗传数据。无论应用可能多么重要，必须确保个人的身份或数据的隐私在分析中没有被泄露。差分隐私构成了一个强大的框架，可防止从计算结果输出中破坏数据主体的隐私。许多重要的贝叶斯推断方法的差分隐私版本已被提出，但缺乏适用于任意模型的高效统一方法。在本文中，我们提出了一种具有非常广泛适用性的差分隐私变分推断方法。它构建在双重随机变分推断之上，后者是近期为大类模型提供变分解的进展。我们通过裁剪和扰动梯度将差分隐私加入双重随机变分推断中。该算法通过子采样的隐私放大变得更加高效。我们证明该方法在相当强的隐私保证下能达到接近非隐私水平的精度，明显优于先前基于采样的替代方法，尤其是在强隐私体制下。