具有差分隐私的联邦学习：算法与性能分析
机器学习
2019-11-11 v2 网络与互联网体系结构
摘要
在本文中，为有效防止信息泄露，我们基于差分隐私（DP）的概念提出一种新框架，在聚合前于客户端侧对参数添加人工噪声，即模型聚合前加噪的联邦学习（NbAFL）。首先，我们证明NbAFL通过适当调节人工噪声的不同方差，可在不同保护级别下满足DP。随后我们推导出NbAFL中训练所得FL模型损失函数的理论收敛界。具体而言，该理论界揭示了以下三个关键性质：1）收敛性能与隐私保护级别之间存在权衡，即更好的收敛性能对应更低的保护级别；2）给定固定隐私保护级别，增加参与FL的总体客户端数量可改善收敛性能；3）对于给定的保护级别，在收敛性能方面存在最优的最大聚合次数（通信轮数）。此外，我们提出一种-随机调度策略，其中从个总体客户端中随机选取（）个客户端参与每次聚合。我们也推导出该情形下损失函数的相应收敛界，且-随机调度策略同样保留上述三个性质。进而，我们发现存在最优的，可在固定隐私级别下取得最佳收敛性能。评估表明，我们的理论结果与仿真一致，从而有助于设计具有不同收敛性能与隐私级别权衡需求的各类隐私保护FL算法。
引用
@article{arxiv.1911.00222,
title = {Federated Learning with Differential Privacy: Algorithms and Performance Analysis},
author = {Kang Wei and Jun Li and Ming Ding and Chuan Ma and Howard H. Yang and Farokhi Farhad and Shi Jin and Tony Q. S. Quek and H. Vincent Poor},
journal= {arXiv preprint arXiv:1911.00222},
year = {2019}
}