FedML Parrot：一种通过异构感知调度在顺序与分层训练上实现的可扩展联邦学习系统
机器学习
2023-03-06 v1 分布式、并行与集群计算
摘要
联邦学习（FL）使客户端能够协作训练机器学习模型同时保护其数据隐私。现有的从传统分布式训练视角设计的FL仿真平台，存在仿真与生产间代码迁移繁琐、效率低、GPU利用率低、硬件要求高且可扩展性差、以及难以仿真有状态客户端等问题。本文中，我们首先阐明仿真FL的挑战与瓶颈，并设计了一个名为FedML \texttt{Parrot}的新FL系统。它通过以下方式提升训练效率、显著放宽硬件要求并支持高效大规模含状态客户端的FL实验：（1）设备上顺序训练客户端；（2）将原始聚合分解为设备端本地聚合与服务器端全局聚合；（3）调度任务以缓解掉队者问题并提升计算利用率；（4）分布式客户端状态管理器以支持各类FL算法。此外，基于我们的通用API与通信接口，用户无需修改代码即可将仿真无缝转化为真实部署。我们通过大量实验在各种FL数据集上训练不同模型来评估\texttt{Parrot}，表明\texttt{Parrot}可仿真超过1000个客户端（有状态或无状态），具有灵活的GPU设备设置（）和高GPU利用率，比FedScale快1.2 4倍，比FedML节省10 100倍内存。我们验证了\texttt{Parrot}在三个不同集群中可良好适配同构与异构设备。仿真了两种含状态客户端的FL算法和四种无状态客户端算法，以验证\texttt{Parrot}对不同算法的广泛适应性。
引用
@article{arxiv.2303.01778,
title = {FedML Parrot: A Scalable Federated Learning System via Heterogeneity-aware Scheduling on Sequential and Hierarchical Training},
author = {Zhenheng Tang and Xiaowen Chu and Ryan Yide Ran and Sunwoo Lee and Shaohuai Shi and Yonggang Zhang and Yuxin Wang and Alex Qiaozhong Liang and Salman Avestimehr and Chaoyang He},
journal= {arXiv preprint arXiv:2303.01778},
year = {2023}
}