支持无线边缘网络上面向大规模联邦学习的架构设计
信息论
2021-09-23 v1 网络与互联网体系结构
math.IT
摘要
大规模联邦学习(FL)网络的主要瓶颈在于通信与计算成本高昂。这是因为当前大多数 FL 框架仅考虑星型网络拓扑,所有本地训练模型均聚合于单一服务器(如云服务器)。当用户数量巨大且本地模型规模较大时,服务器会产生显著开销。本文提出一种新颖的边缘网络架构,将服务器上的模型聚合过程去中心化,从而显著降低整个网络的聚合延迟。在该架构中,我们提出一种高效的网内计算协议,包含两个组成部分。首先,设计网内聚合过程,使大部分聚合计算可从云服务器卸载至边缘节点。其次,构建联合路由与资源分配优化问题,以最小化每一学习轮次下整个系统的聚合延迟。该问题被证明为 NP-hard,因此我们提出一种多项式时间路由算法,可在理论界保证下取得近最优性能。数值结果表明,所提框架可大幅降低网络延迟,最高达 4.6 倍。此外,与传统基线相比,该框架可将云的流量与计算开销降低 K/M 倍,其中 K 为用户数,M 为边缘节点数。
引用
@article{arxiv.2109.10489,
title = {Enabling Large-Scale Federated Learning over Wireless Edge Networks},
author = {Thinh Quang Dinh and Diep N. Nguyen and Dinh Thai Hoang and Pham Tran Vu and Eryk Dutkiewicz},
journal= {arXiv preprint arXiv:2109.10489},
year = {2021}
}
备注
Accepted to appear in Proc. IEEE Global Communications Conference (GLOBECOM), Madrid, Spain, Dec. 2021