具有本地差分隐私的联邦学习：隐私、效用与通信之间的权衡
机器学习
2021-02-10 v1 密码学与安全
分布式、并行与集群计算
信息论
信号处理
math.IT
摘要
联邦学习（FL）因其去中心化结构而能够私密地训练海量数据。随机梯度下降（SGD）因其良好的经验性能而常用于 FL，但在 FL 迭代过程中共享的权重更新仍可能推断出敏感的用户信息。我们考虑在采用 SGD 的 FL 模型中使用高斯机制来保留用户数据的本地差分隐私（LDP）。通过为带 LDP 的 FL 定义适当的度量，证明了用户隐私、全局效用和传输速率之间的权衡。与现有结果相比，LDP 中使用的查询敏感度被定义为变量，并采用了更紧的隐私核算方法。所提出的效用界允许所有用户具有异构参数。我们的界刻画了若目标为更强的隐私机制，效用会降低多少以及传输速率会增加多少。此外，在给定目标隐私水平下，与现有隐私核算方法相比，我们的结果保证了显著更大的效用和更小的传输速率。
引用
@article{arxiv.2102.04737,
title = {Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication},
author = {Muah Kim and Onur Günlü and Rafael F. Schaefer},
journal= {arXiv preprint arXiv:2102.04737},
year = {2021}
}
备注
To appear in IEEE International Conference on Acoustics, Speech, and Signal Processing 2021