基于谱算法的端到端差分隐私隐狄利克雷分配
机器学习
2020-01-20 v3 机器学习
摘要
我们提供了一种用于学习 LDA 的端到端差分隐私谱算法，基于矩阵/张量分解，并建立了关于估计模型参数效用/一致性的理论保证。该谱算法由多个称为“边（edges）”的算法步骤组成，可向其中注入噪声以获得差分隐私。我们识别出称为“配置（configurations）”的边的子集，使得向此类子集中的所有边添加噪声可保证端到端谱算法的差分隐私。我们刻画了边相对于输入的敏感度，从而估计在任何所需隐私级别下需向每条边添加的噪声量。随后我们将每种配置的效用损失刻画为注入噪声的函数。总体而言，通过结合敏感度与效用刻画，我们获得了用于 LDA 的端到端差分隐私谱算法，并识别出在任一特定情形下优于其他配置的配置。我们是首个在 LDA 学习所需差分隐私级别下实现效用保证的。总体上，我们的方法系统性地优于差分隐私变分推断。
引用
@article{arxiv.1805.10341,
title = {An end-to-end Differentially Private Latent Dirichlet Allocation Using a Spectral Algorithm},
author = {Christopher DeCarolis and Mukul Ram and Seyed A. Esmaeili and Yu-Xiang Wang and Furong Huang},
journal= {arXiv preprint arXiv:1805.10341},
year = {2020}
}