无线边缘网络上面向大规模联邦学习的网内计算
信息论
2022-06-30 v2 网络与互联网体系结构
math.IT
摘要
大多数传统联邦学习（FL）模型采用星型网络拓扑，所有用户在单一服务器（如云服务器）处聚合其本地模型。这在通信和服务器计算方面造成了显著开销，延迟了训练过程，尤其是对于具有掉队节点的大规模FL系统。本文提出了一种新颖的边缘网络架构，使服务器处的模型聚合过程去中心化，从而显著减少整个FL网络的训练延迟。具体而言，我们设计了一种高效的网内计算协议（INC），其包含用户调度机制、为分布式机器学习问题中的原始方法和原始对偶方法设计的网内聚合过程（INA）以及网络路由算法。在所提INA下，我们随后构建了一个联合路由与资源优化问题，旨在最小化聚合延迟。该问题是NP难的，因此我们提出了一种多项式时间路由算法，其能以理论界实现近最优性能。仿真结果表明，所提INC框架不仅可将FL训练延迟降低多达5.6倍，还能显著减少云的流量与计算开销。这有助于实现大规模FL。
引用
@article{arxiv.2109.10903,
title = {In-network Computation for Large-scale Federated Learning over Wireless Edge Networks},
author = {Thinh Quang Dinh and Diep N. Nguyen and Dinh Thai Hoang and Pham Tran Vu and Eryk Dutkiewicz},
journal= {arXiv preprint arXiv:2109.10903},
year = {2022}
}
备注
This work is partly presented in arXiv:2109.10489