联邦学习中的联合隐私增强与量化
机器学习
2023-03-22 v1 密码学与安全
摘要
联邦学习(FL)是一种利用边缘设备上可能私有的数据训练机器学习模型的新兴范式。FL的分布式操作带来了集中式机器学习中不会遇到的挑战，包括需要保护本地数据集的隐私，以及由于重复交换更新模型而产生的通信负载。这些挑战通常通过引入对更新模型造成某种失真的技术来分别应对，例如本地差分隐私(LDP)机制和有损压缩。在这项工作中，我们提出了一种称为联合隐私增强与量化(JoPEQ)的方法，它在FL设置中联合实现有损压缩与隐私增强。具体而言，JoPEQ利用基于随机格的矢量量化，这是一种通用压缩技术，其副产品失真在统计上等价于加性噪声。该失真被利用，通过用专用的多元隐私保护噪声增强模型更新来提升隐私。我们表明，JoPEQ在按照所需比特率量化数据的同时保持期望的隐私水平，且不会显著影响所学模型的效用。这通过解析LDP保证、失真与收敛界推导以及数值研究得到展示。最后，我们经实验证实JoPEQ挫败了已知利用隐私泄露的常见攻击。
引用
@article{arxiv.2208.10888,
title = {Joint Privacy Enhancement and Quantization in Federated Learning},
author = {Natalie Lang and Elad Sofer and Tomer Shaked and Nir Shlezinger},
journal= {arXiv preprint arXiv:2208.10888},
year = {2023}
}