缓解资源受限异步联邦学习系统中的系统偏差
机器学习
2024-02-02 v2
摘要
联邦学习 (FL) 系统在处理异构设备和客户端间非独立同分布数据时面临性能挑战。我们提出了一种在异步联邦学习 (AFL) 部署中的动态全局模型聚合方法来解决这些问题。我们的聚合方法根据客户端的上传频率对其模型更新的权重进行评分和调整，以适应设备能力的差异。此外，我们还在客户端上传其本地模型后立即向其提供更新后的全局模型，以减少空闲时间并提高训练效率。我们在一个由 10 个具有异构计算约束和非独立同分布数据的模拟客户端组成的 AFL 部署中评估了我们的方法。使用 FashionMNIST 数据集的仿真结果表明，与最先进的方法 PAPAYA 和 FedAsync 相比，全局模型准确率分别提高了 10% 和 19% 以上。尽管客户端资源和统计数据存在异构性限制，我们的动态聚合方法仍能实现可靠的全局模型训练。这提高了真实 FL 部署的鲁棒性和可扩展性。
引用
@article{arxiv.2401.13366,
title = {Mitigating System Bias in Resource Constrained Asynchronous Federated Learning Systems},
author = {Jikun Gao and Ioannis Mavromatis and Peizheng Li and Pietro Carnelli and Aftab Khan},
journal= {arXiv preprint arXiv:2401.13366},
year = {2024}
}
备注
6 pages, 5 figures. This work has been accepted by PerCom PerconAI workshop 2024