MetisFL：面向可扩展高效联邦学习工作流的极度并行化控制器
机器学习
2023-11-14 v2 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）系统通常由两个核心处理实体组成：联邦控制器与学习者。控制器负责管理跨学习者的FL工作流执行，学习者负责在其私有数据集上训练和评估联邦模型。在执行FL工作流时，FL系统无法控制参与学习者的计算资源或数据，但仍需负责模型聚合、任务分发与调度等其他操作。这些计算密集型操作通常需由联邦控制器处理。尽管近期已提出许多FL系统以便利FL工作流的开发，但其中多数忽视了控制器的可扩展性。为满足此需求，我们设计开发了名为MetisFL的新型FL系统，其中联邦控制器为一等公民。MetisFL重新设计了联邦控制器执行的所有操作，以加速大规模FL工作流的训练。通过将MetisFL与其他最先进的FL系统进行定量比较，我们实证表明，在模型规模与联邦站点数量不断增加的各类挑战性FL工作流中，MetisFL带来了10倍的挂钟时间执行提升。
引用
@article{arxiv.2311.00334,
title = {MetisFL: An Embarrassingly Parallelized Controller for Scalable & Efficient Federated Learning Workflows},
author = {Dimitris Stripelis and Chrysovalantis Anastasiou and Patrick Toral and Armaghan Asghar and Jose Luis Ambite},
journal= {arXiv preprint arXiv:2311.00334},
year = {2023}
}
备注
15 pages, 11 figures, Accepted at DistributedML '23