HiFlash：具有自适应陈旧度控制与感知异构性的客户端-边缘关联的通信高效分层联邦学习
网络与互联网体系结构
2023-01-18 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）是一种有前景的范式，能够在保持训练数据本地化的同时跨大量客户端协作学习共享模型。然而，对于许多现有 FL 系统，客户端需要通过广域网（WAN）直接与远端云服务器频繁交换大数据量的模型参数，导致显著的通信开销与较长传输时间。为缓解通信瓶颈，我们诉诸于 HiFL 的分层联邦学习范式，其利用移动边缘计算的优势，并将同步的客户端-边缘模型聚合与异步的边缘-云模型聚合相结合，以大幅减少 WAN 传输的流量。具体地，我们首先从理论上分析 HiFL 的收敛界，并识别出可用于提升模型性能的关键可控因素。随后，我们倡导一种增强的 HiFlash 设计，通过创新性地整合基于深度强化学习的自适应陈旧度控制与感知异构性的客户端-边缘关联策略，在不牺牲模型精度的前提下提升系统效率并缓解陈旧度效应。大量实验证实了 HiFlash 在模型精度、通信削减与系统效率方面的优越性能。
引用
@article{arxiv.2301.06447,
title = {HiFlash: Communication-Efficient Hierarchical Federated Learning with Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association},
author = {Qiong Wu and Xu Chen and Tao Ouyang and Zhi Zhou and Xiaoxi Zhang and Shusen Yang and Junshan Zhang},
journal= {arXiv preprint arXiv:2301.06447},
year = {2023}
}
备注
Accepted by IEEE Transactions on Parallel and Distributed Systems, Jan. 2023