FedHC：面向异构且资源受限客户端的可扩展联邦学习框架
分布式、并行与集群计算
2023-05-26 v1
摘要
联邦学习（FL）是一种分布式学习范式，使边缘设备能够利用本地数据协作学习全局模型。在 GPU 上模拟 FL 对于加速 FL 算法原型设计与评估至关重要。然而，当前的 FL 框架忽视了算法模拟与真实部署之间的差距，该差距源于异构计算能力与不平衡工作负载，从而误导对新算法的评估。此外，它们缺乏灵活性与可扩展性以适应资源受限的客户端。本文提出 FedHC，一种面向异构且资源受限客户端的可扩展联邦学习框架。FedHC 通过为每个客户端分配专用且受限的 GPU 资源预算来实现系统异构性，并在框架提供的运行时层面模拟工作负载异构性。进一步，我们引入动态客户端调度器、进程管理器与资源共享机制，以提升可扩展客户端的 GPU 资源利用率。实验表明，FedHC 能够捕捉多种因素对客户端执行时间的影响。此外，尽管每个客户端资源受限，FedHC 相较于无限制现有框架仍达到最优效率；当将现有框架置于相同资源约束下时，FedHC 实现了 2.75 倍的加速。代码已发布于 https://github.com/if-lab-repository/FedHC。
引用
@article{arxiv.2305.15668,
title = {FedHC: A Scalable Federated Learning Framework for Heterogeneous and Resource-Constrained Clients},
author = {Min Zhang and Fuxun Yu and Yongbo Yu and Minjia Zhang and Ang Li and Xiang Chen},
journal= {arXiv preprint arXiv:2305.15668},
year = {2023}
}