EdgeML:面向无线边缘上网络加速的联邦学习
网络与互联网体系结构
2022-06-01 v4 分布式、并行与集群计算
机器学习
摘要
联邦学习(FL)是面向下一代 AI 系统的分布式机器学习技术,它允许多个工人(即边缘设备)协作学习一个共享的全局模型,同时将其数据保留在本地以防止隐私泄露。在无线多跳网络上启用 FL 可使 AI 民主化并以经济高效的方式普及。然而,有噪声、带宽受限的多跳无线连接会导致延迟且游动的模型更新,显著减缓 FL 收敛速度。为应对此类挑战,本文旨在通过优化多跳联邦网络性能来加速无线边缘上的 FL 收敛。具体而言,FL 收敛优化问题被建模为一个马尔可夫决策过程(MDP)。为求解该 MDP,开发了多智能体强化学习(MA-RL)算法及领域特定的动作空间精化方案,其在线学习最小延迟转发路径,以最小化边缘设备(即工人)与远程服务器间的模型交换时延。为验证所提方案,我们开发并实现了 FedEdge,这是文献中首个面向多跳无线边缘计算网络上的 FL 实验框架。FedEdge 允许我们在真实无线设备上快速原型化、部署和评估新颖 FL 算法及基于 RL 的系统优化方法。此外,通过定制广泛采用的 Linux 无线路由器与 ML 计算节点,实现了物理实验测试床。最后,测试床上的实验结果表明,相较于由生产级商用无线网络协议 BATMAN-Adv 赋能的 FL 系统,所提网络加速 FL 系统能实际且显著地提升 FL 收敛速度。
引用
@article{arxiv.2111.09410,
title = {EdgeML: Towards Network-Accelerated Federated Learning over Wireless Edge},
author = {Pinyarash Pinyoanuntapong and Prabhu Janakaraj and Ravikumar Balakrishnan and Minwoo Lee and Chen Chen and Pu Wang},
journal= {arXiv preprint arXiv:2111.09410},
year = {2022}
}
备注
14 pages, submitted to Journal of Computer Networks (ComNet) 2022