面向非光滑目标的私有网络化联邦学习

本文开发一种网络化联邦学习算法以求解非光滑目标函数。为保障参与者彼此间及潜在窃听者的机密性,我们使用零集中差分隐私概念(zCDP)。隐私通过以方差递减的高斯噪声扰动每个客户端的计果来实现。zCDP在假设对手聚合所有交换消息的前提下,比传统的$(\epsilon, \delta)$-DP提供更好精度,并比近期Rényi-DP提供更强保证。所提算法依赖于分布式交替方向乘子法(ADMM),并使用增广拉格朗日的近似来处理非光滑目标函数。所开发的私有网络化联邦学习算法具有竞争力的隐私-精度折衷,并能处理非光滑与非强凸问题。我们提供关于隐私保证与算法收敛至精确解的完整理论证明。我们还证明在附加假设下算法以$O(1/n)$次ADMM迭代收敛。最后,我们在一系列数值模拟中观察算法的性能。