QMGeo：基于混合截断几何分布随机量化的差分隐私联邦学习
机器学习
2024-06-12 v2 人工智能
摘要
联邦学习（FL）是一种框架，允许多个用户在参数服务器的协调下，仅通过传输模型更新来联合训练全局机器学习（ML）模型，同时能够将数据集保留在本地。此类分布式框架的一个关键动机是为用户提供隐私保证。然而，将用户数据集保留在本地被证明不足以保护隐私。目前已提出多种差分隐私（DP）机制，通过在框架中引入随机性来提供可证明的隐私保证，且这些机制大多依赖于注入加性噪声。FL框架还面临通信效率的挑战，尤其是随着机器学习模型复杂度和规模的增长。量化是一种常用的方法，通过传输底层信息的压缩表示来降低通信成本。尽管已有若干关于FL中DP和量化的研究，但仅靠量化方法在提供隐私保证方面的潜在贡献尚未得到深入分析。本文提出了一种新颖的随机量化方法，利用混合几何分布引入提供DP所需的随机性，而无需任何加性噪声。我们为该框架提供了收敛性分析，并实证研究了其性能。
引用
@article{arxiv.2312.05761,
title = {QMGeo: Differentially Private Federated Learning via Stochastic Quantization with Mixed Truncated Geometric Distribution},
author = {Zixi Wang and M. Cenk Gursoy},
journal= {arXiv preprint arXiv:2312.05761},
year = {2024}
}