差分隐私联邦变分推断

在机器学习的许多现实应用中，数据分布在许多客户端上且不能离开其存储设备。此外，每个客户端的数据、计算资源和通信约束可能差异很大。这一设定被称为联邦学习，其中隐私是关键问题。差分隐私常用于提供数学隐私保证。据我们所知，本工作是首个考虑联邦、差分隐私、贝叶斯学习的工作。我们基于近期开发的用于支持联邦设定下近似贝叶斯推断的分区变分推断（PVI）构建。我们修改 PVI 的客户端优化以提供 (${\epsilon}$, ${\delta}$)-DP 保证。我们表明，在联邦设定下学习具有中等隐私性的逻辑回归模型是可能的，其性能与在非隐私条件下于集中式数据上训练的模型相似。