FedLesScan：缓解无服务器联邦学习中的掉队者
分布式、并行与集群计算
2023-02-21 v2 机器学习
摘要
联邦学习（FL）是一种机器学习范式，能够在分布式客户端上训练共享全局模型，同时保持训练数据本地化。虽然此前大多数 FL 系统设计工作集中于使用有状态常驻组件，但近期研究表明 FL 系统中的组件可极大受益于无服务器计算和函数即服务（FaaS）技术的使用。为此，使用无服务器 FL 系统的分布式模型训练可比传统 FL 系统更具资源效率和成本更低。然而，无服务器 FL 系统仍受掉队者（即因资源和统计异构性而缓慢的客户端）的影响。虽然已提出若干缓解 FL 中掉队者的策略，但多数方法未考虑无服务器环境的特定特征，即冷启动、性能波动以及函数实例的短暂无状态性质。为此，我们提出 FedLesScan，一种专为无服务器 FL 设计的基于聚类的半异步训练策略。FedLesScan 动态适应客户端行为并最小化掉队者对整体系统的影响。我们通过扩展名为 FedLess 的开源无服务器 FL 系统来实现我们的策略。此外，我们使用第二代 Google Cloud Functions、四个数据集和不同比例的掉队者全面评估了我们的策略。实验结果表明，与其他方法相比，FedLesScan 平均减少训练时间和成本分别为 8% 和 20%，同时更好地利用客户端，有效更新比率平均提升 17.75%。
引用
@article{arxiv.2211.05739,
title = {FedLesScan: Mitigating Stragglers in Serverless Federated Learning},
author = {Mohamed Elzohairy and Mohak Chadha and Anshul Jindal and Andreas Grafberger and Jianfeng Gu and Michael Gerndt and Osama Abboud},
journal= {arXiv preprint arXiv:2211.05739},
year = {2023}
}
备注
IEEE BigData 2022