SoteriaFL：一种支持通信压缩的隐私保护联邦学习统一框架
机器学习
2022-10-14 v2 分布式、并行与集群计算
数据结构与算法
最优化与控制
摘要
为了在无线网络等带宽受限环境中实现大规模机器学习，近期借助通信压缩设计通信高效的联邦学习算法取得了显著进展。另一方面，隐私保护（尤其是客户端层面的隐私）是另一个重要需求，在现有先进通信压缩技术下尚未被同时解决。本文提出一个统一框架，通过通信压缩提升隐私保护联邦学习的通信效率。利用通用压缩算子和本地差分隐私，我们首先考察了一种将压缩直接应用于差分隐私随机梯度下降的简单算法，并指出了其局限性。随后我们提出用于隐私保护联邦学习的统一框架 SoteriaFL，其容纳了一类通用的本地梯度估计器，包括流行的随机方差缩减梯度方法和最先进的偏移压缩方案。我们全面刻画了其在隐私、效用和通信复杂度方面的性能权衡，结果表明 SoteriaFL 在不牺牲隐私和效用的前提下，相比其他无通信压缩的隐私保护联邦学习算法实现了更优的通信复杂度。
引用
@article{arxiv.2206.09888,
title = {SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression},
author = {Zhize Li and Haoyu Zhao and Boyue Li and Yuejie Chi},
journal= {arXiv preprint arXiv:2206.09888},
year = {2022}
}
备注
39 pages