具有量化全局模型更新的联邦学习
信息论
2020-10-08 v2 分布式、并行与集群计算
机器学习
math.IT
摘要
我们研究联邦学习（FL），它使移动设备能够利用其本地数据集，在中央服务器的帮助下协作训练全局模型，同时保持数据本地化。在每次迭代中，服务器将当前全局模型广播给设备进行本地训练，并聚合来自设备的本地模型更新以更新全局模型。先前关于 FL 通信效率的工作主要集中在聚合来自设备的模型更新上，并假设全局模型的完美广播。在本文中，我们转而考虑广播全局模型的压缩版本。这是为了进一步降低 FL 的通信成本，当全局模型要通过无线介质传输时，这种成本可能尤为受限。我们引入了一种有损 FL（LFL）算法，其中全局模型和本地模型更新在传输前均被量化。我们假设服务器端有准确的本地模型更新可用，分析了所提出 LFL 算法的收敛行为。数值实验表明，所提出的 LFL 方案量化全局模型更新（相对于设备上的全局模型估计）而不是全局模型本身，其性能显著优于研究 PS 到设备方向上全局模型量化的其他现有方案。此外，与完全无损方法（其中 PS 和设备完全没有任何量化地传输其消息）相比，所提出方案的性能损失微乎其微。
引用
@article{arxiv.2006.10672,
title = {Federated Learning With Quantized Global Model Updates},
author = {Mohammad Mohammadi Amiri and Deniz Gunduz and Sanjeev R. Kulkarni and H. Vincent Poor},
journal= {arXiv preprint arXiv:2006.10672},
year = {2020}
}