联邦学习中量化的影响:Rényi差分隐私视角
机器学习
2024-12-10 v1 密码学与安全
分布式、并行与集群计算
摘要
联邦学习(FL)是一种新兴范式,对于使用分布式数据进行隐私保护机器学习具有巨大潜力。为了增强隐私,FL可以与差分隐私(DP)结合,这涉及向模型权重添加高斯噪声。然而,FL在传输这些模型权重时面临通信开销大的重大挑战。为了解决这个问题,通常采用量化。然而,量化高斯噪声的存在给理解隐私保护带来了复杂性。本研究论文调查了量化对FL系统中隐私的影响。我们使用Rényi差分隐私(RDP)检查了量化高斯机制的隐私保证。通过推导量化高斯机制的隐私预算,我们证明较低的量化比特级别提供了更好的隐私保护。为了验证我们的理论发现,我们采用了成员推断攻击(MIA),该攻击衡量隐私泄露的准确性。数值结果与我们的理论分析一致,证实了量化确实可以增强隐私保护。这项研究不仅加深了我们对FL中隐私与通信之间相关性的理解,还强调了量化在保护隐私方面的优势。
引用
@article{arxiv.2405.10096,
title = {The Effect of Quantization in Federated Learning: A R\'enyi Differential Privacy Perspective},
author = {Tianqu Kang and Lumin Liu and Hengtao He and Jun Zhang and S. H. Song and Khaled B. Letaief},
journal= {arXiv preprint arXiv:2405.10096},
year = {2024}
}
备注
6 pages, 5 figures, submitted to 2024 IEEE MeditCom