面向异构感知的分层联邦边缘学习中的资源分配与拓扑设计
机器学习
2024-10-01 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习(FL)为在移动边缘设备上训练机器学习模型提供了一种隐私保护的框架。传统的FL算法(如FedAvg)会给这些设备带来沉重的通信负担。为缓解这一问题,人们提出了分层联邦边缘学习(HFEL),利用边缘服务器作为模型聚合的中间层。尽管HFEL有效,但它面临着收敛速度慢和资源消耗高的问题,尤其是在存在系统和数据异构性的情况下。然而,现有工作主要集中于提升传统FL的训练效率,对HFEL的效率探索甚少。本文考虑一个两层HFEL系统,其中边缘设备连接到边缘服务器,边缘服务器之间通过点对点(P2P)边缘回程链路互联。我们的目标是通过战略性的资源分配和拓扑设计来提升HFEL系统的训练效率。具体而言,我们构建了一个优化问题,通过分配计算和通信资源以及调整P2P连接来最小化总训练时延。为确保动态拓扑下的收敛性,我们分析了收敛误差界,并在优化问题中引入了模型一致性约束。随后,我们将所提出的问题分解为若干子问题,从而能够在线交替求解。我们的方法支持在数据和系统异构性下高效实现大规模边缘网络FL。在基准数据集上的综合实验评估验证了所提方法的有效性,与多种基线相比,在保持模型精度的同时显著降低了训练时延。
关键词
引用
@article{arxiv.2409.19509,
title = {Heterogeneity-Aware Resource Allocation and Topology Design for Hierarchical Federated Edge Learning},
author = {Zhidong Gao and Yu Zhang and Yanmin Gong and Yuanxiong Guo},
journal= {arXiv preprint arXiv:2409.19509},
year = {2024}
}
备注
12 pages, 9 figures