差分隐私划分变分推断

从分布于多个设备上的敏感数据中学习隐私保护模型是一个日益重要的问题。该问题常在联邦学习背景下表述，旨在保持数据分布式的同时学习单一全局模型。此外，贝叶斯学习因天然支持可靠不确定性估计而成为建模范式中的热门方法。然而，即便在集中式非隐私数据下，贝叶斯学习通常亦不可解，因而变分推断等近似技术必不可少。变分推断近来已通过划分变分推断算法扩展至非隐私联邦学习设定。对于隐私保护，当前黄金标准称为差分隐私。差分隐私以强且数学上明确定义的意义保障隐私。本文中，我们提出差分隐私划分变分推断，这是首个在联邦学习设定中学习贝叶斯后验分布变分近似的通用框架，同时最小化通信轮数并为数据主体提供差分隐私保证。我们在该通用框架下提出三种替代实现：一种基于扰动各参与方所做的本地优化运行，另两种基于扰动对全局模型的更新（其一使用联邦平均的一种版本，其二向协议中添加虚拟参与方），并从理论与经验两方面比较其性质。