Apodotiko: 面向异构环境的高效无服务器联邦学习
分布式、并行与集群计算
2024-04-23 v1 机器学习
摘要
联邦学习（FL）是一种新兴的机器学习范式，使得超过分布式客户端协同训练共享全局模型，同时保持数据的去中心化。最近的研究表明，利用无服务器计算技术，特别是函数即服务（FaaS）进行FL，可提高资源效率、降低训练成本，并减轻数据持有者对复杂基础设施管理的负担。然而，当前的无服务器FL系统仍存在迟缓客户端（stragglers）的问题，这些客户端会阻碍协作训练过程。虽然已提出缓解这些系统中迟缓客户端的策略，但这些方法忽略了FL客户端之间多样化的硬件资源配置。针对这一问题，我们提出了一种名为Apodotiko的新型异步训练策略，专为无服务器FL设计。我们的策略包含一种评估机制，用于衡量每个客户端的硬件容量和数据集大小，从而智能地优先选择和选择每个训练轮次的客户端，从而最小化迟缓客户端对系统性能的影响。我们全面评估了Apodotiko在多种数据集上的表现，考虑到CPU和GPU客户端的混合情况，并将其性能与五种其他FL训练策略进行比较。实验结果表明，Apodotiko超越了其他FL训练策略，平均加速2.75倍，最高加速7.03倍。此外，我们的策略显著减少了冷启动时间，平均降低了4倍，显示出在无服务器环境中的适应性。
引用
@article{arxiv.2404.14033,
title = {Apodotiko: Enabling Efficient Serverless Federated Learning in Heterogeneous Environments},
author = {Mohak Chadha and Alexander Jensen and Jianfeng Gu and Osama Abboud and Michael Gerndt},
journal= {arXiv preprint arXiv:2404.14033},
year = {2024}
}
备注
Accepted at IEEE/ACM CCGrid'24