通过模型聚合桥接差分隐私与拜占庭鲁棒性

本文旨在联合解决联邦学习中两个看似冲突的问题：差分隐私（DP）与拜占庭鲁棒性，当分布式数据为非独立同分布（non-i.i.d.）时尤其具有挑战性。标准DP机制向传输消息中添加噪声，并与鲁棒随机梯度聚合纠缠以防御拜占庭攻击。在本文中，我们通过鲁棒随机模型聚合解耦这两个问题，即我们提出的DP机制与针对拜占庭攻击的防御对学习性能具有分离的影响。利用鲁棒随机模型聚合，在每次迭代中，每个工作节点计算本地模型与全局模型之间的差值，随后将逐元素符号发送给主节点，从而实现针对拜占庭攻击的鲁棒性。进一步，我们设计两种DP机制来扰动上传的符号以实现隐私保护，并利用噪声分布的性质证明它们满足$(\epsilon,0)$-DP。借助Moreau包络与近端点投影工具，我们在代价函数非凸时建立了所提算法的收敛性。我们分析了隐私保护与直线学习性能之间的权衡，并表明所提DP机制的影响与鲁棒随机模型聚合的影响解耦。数值实验证明了所提算法的有效性。