差分隐私随机期望传播（DP-SEP）
机器学习
2022-11-02 v5 机器学习
摘要
我们关注于将一种称为期望传播（EP）的近似后验推断算法隐私化。EP通过迭代细化对局部似然的近似来逼近后验，且已知能比变分推断（VI）提供更好的后验不确定性。然而，EP需要较大内存来维护训练数据中与每个数据点关联的所有局部近似。为克服该挑战，随机期望传播（SEP）考虑一个捕获各似然项对后验平均效应的唯一局部因子，并以类似于EP的方式细化它。在隐私方面，SEP比EP更易于处理，因为在因子的每次细化步骤中，其余因子是固定的且不依赖于其他数据点（如EP中那样），这使得敏感度分析直接明了。我们针对我们称为差分隐私随机期望传播（DP-SEP）的方法，提供了后验估计中隐私-精度权衡的理论分析。此外，我们在合成与真实世界数据集上展示了我们的DP-SEP算法在不同保证隐私级别下后验估计质量方面的性能。
引用
@article{arxiv.2111.13219,
title = {Differentially private stochastic expectation propagation (DP-SEP)},
author = {Margarita Vinaroz and Mijung Park},
journal= {arXiv preprint arXiv:2111.13219},
year = {2022}
}