具有精确误差分布的联邦学习压缩
机器学习
2023-11-01 v1 信息论
math.IT
摘要
压缩方案已广泛用于联邦学习（FL）以降低分布式学习的通信成本。虽然大多数方法依赖于压缩器产生噪声的有界方差假设，本文研究使用压缩与聚合方案，其在聚合数据上产生特定误差分布，例如高斯或拉普拉斯分布。我们提出并分析基于分层量化器实现精确误差分布的不同聚合方案。我们提供不同方法来利用所提压缩方案，以在差分隐私应用中获得免费压缩。我们的一般压缩方法能够恢复并改进带有高斯扰动的标椎 FL 方案，如朗之万动力学与随机平滑。
引用
@article{arxiv.2310.20682,
title = {Compression with Exact Error Distribution for Federated Learning},
author = {Mahmoud Hegazy and Rémi Leluc and Cheuk Ting Li and Aymeric Dieuleveut},
journal= {arXiv preprint arXiv:2310.20682},
year = {2023}
}