联邦学习的上行与下行通信设计与分析
信息论
2020-12-09 v1 机器学习
信号处理
math.IT
摘要
众所周知，通信是联邦学习（FL）的主要瓶颈之一，然而现有研究尚未解决高效的通信设计问题，特别是在需要同时考虑上行和下行通信的无线 FL 中。在本文中，我们专注于无线 FL 的物理层量化和传输方法的设计与分析。我们回答了客户端与参数服务器之间应该通信什么以及如何通信的问题，并评估了更新模型的各种量化和传输选项对学习性能的影响。我们在非独立同分布（non-i.i.d.）数据集分布、部分客户端参与以及上行和下行通信中的有限精度量化条件下，对著名的 FedAvg 提供了新的收敛性分析。这些分析表明，为了在量化下实现 O(1/T) 的收敛速率，传输权重需要以对数速率增加量化级别，而传输权重差分可以保持恒定的量化级别。在各种真实世界数据集上的全面数值评估表明，为 FL 量身定制的上行和下行通信设计的收益是巨大的——精心设计的量化和传输在 i.i.d. 和 non-i.i.d. 数据集上的大多数实验中，以不到 10% 的基线带宽达到了超过 98% 的浮点基线准确率。特别地，在 MNIST 上，1-bit 量化（3.1% 的浮点基线带宽）以几乎相同的收敛速率达到了 99.8% 的浮点基线准确率，据作者所知，这代表了目前已知最佳的带宽-准确率权衡。
引用
@article{arxiv.2012.04057,
title = {Design and Analysis of Uplink and Downlink Communications for Federated Learning},
author = {Sihui Zheng and Cong Shen and Xiang Chen},
journal= {arXiv preprint arXiv:2012.04057},
year = {2020}
}
备注
Accepted to IEEE JSAC, Series on Machine Learning for Communications and Networks