通过优化梯度量化与带宽分配最小化联邦边缘学习的训练时间
信息论
2022-01-03 v2 math.IT
摘要
利用联邦边缘学习（FEEL）训练机器学习模型通常耗时，因为边缘设备计算能力受限且边缘网络无线资源有限。本文研究量化 FEEL 系统中的训练时间最小化问题，其中异构边缘设备通过正交信道向边缘服务器发送量化梯度。特别地，采用随机量化方案压缩上传梯度，这可减轻每轮通信负担，但可能以增加通信轮数为代价。训练时间建模时考虑了通信时间、计算时间以及通信轮数。基于所提训练时间模型，刻画了通信轮数与每轮时延之间的内在权衡。具体而言，我们从最优性间隙角度分析了量化 FEEL 的收敛行为。进一步，提出一种数据-模型联合驱动拟合方法以获得精确最优性间隙，并据此得到通信轮数与总训练时间的闭式表达式。在总带宽约束下，将训练时间最小化问题表述为量化级别与带宽分配的联合优化问题。为此，提出一种基于交替优化的算法，其通过连续凸近似求解量化优化子问题，并通过二分搜索求解带宽分配子问题。不同学习任务与模型下的实验结果验证了我们的分析以及所提优化算法的近最优性能。
引用
@article{arxiv.2112.14387,
title = {Training Time Minimization for Federated Edge Learning with Optimized Gradient Quantization and Bandwidth Allocation},
author = {Peixi Liu and Jiamo Jiang and Guangxu Zhu and Lei Cheng and Wei Jiang and Wu Luo and Ying Du and Zhiqin Wang},
journal= {arXiv preprint arXiv:2112.14387},
year = {2022}
}
备注
14 pages