随机量化即满足联邦学习差分隐私之所需
机器学习
2023-06-22 v1 密码学与安全
分布式、并行与集群计算
摘要
联邦学习(FL)是一种常见且实用的以去中心化方式学习机器学习模型的框架。这种去中心化方法的主要动机之一是数据隐私，确保学习器永远不会看到每个本地源自身的数据。联邦学习随之带来两大挑战：一是处理服务器与大量数据源之间可能复杂的模型更新；二是去中心化实际上可能不足以保障隐私，因为本地更新本身会泄露有关源数据的信息。为解决这些问题，我们考虑一种结合量化与差分隐私的联邦学习方法。在无隐私考量时，联邦学习常依赖量化来降低通信复杂度。我们基于该方法构建了名为随机量化机制(Randomized Quantization Mechanism, RQM)的新算法，其通过两级随机化实现隐私保护。更确切地说，我们随机子采样可行的量化级别，然后利用这些子采样得到的离散级别执行随机舍入过程。我们能够证明我们的结果保持了“Renyi差分隐私”(Renyi DP)。我们通过实验研究了算法的性能，并表明与先前工作相比，它在DP联邦学习中获得了更优的隐私-精度权衡。据我们所知，这是首个仅依赖随机量化而不引入显式离散噪声来在联邦学习系统中实现Renyi DP保证的研究。
引用
@article{arxiv.2306.11913,
title = {Randomized Quantization is All You Need for Differential Privacy in Federated Learning},
author = {Yeojoon Youn and Zihao Hu and Juba Ziani and Jacob Abernethy},
journal= {arXiv preprint arXiv:2306.11913},
year = {2023}
}