FLASH-RL:利用强化学习解决系统与静态异构性的联邦学习
机器学习
2023-11-14 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习(FL)已成为一种有前景的机器学习范式,使多个用户能在保护本地数据的同时协作训练共享模型。为最小化参数传输带来的计算与通信开销,FL 中通常每轮训练选取部分客户端。该选取须同时考虑系统与静态异构性。为此,我们提出 FLASH-RL,一个利用双重深度 Q 学习(DDQL)解决 FL 中系统与静态异构性的框架。FLASH-RL 引入基于声誉的效用函数,依据客户端当前与过往表现评估其贡献。此外,提出一种改进的 DDQL 算法以加速学习过程。在 MNIST 与 CIFAR-10 数据集上的实验结果表明,FLASH-RL 相较于现有方案在模型性能与端到端延迟间实现了均衡权衡。事实上,FLASH-RL 相比 FedAVG 降低延迟达 24.83%,相比 FAVOR 降低 24.67%;相比 FedAVG 减少训练轮次达 60.44%,相比 FAVOR 增加 +76%。在使用 MobiAct 数据集的跌倒检测中,FLASH-RL 模型性能优于 FedAVG 达 2.82%,并降低延迟达 34.75%。此外,FLASH-RL 能更快达到目标性能,相比 FedAVG 训练轮次减少达 45.32%。
引用
@article{arxiv.2311.06917,
title = {FLASH-RL: Federated Learning Addressing System and Static Heterogeneity using Reinforcement Learning},
author = {Sofiane Bouaziz and Hadjer Benmeziane and Youcef Imine and Leila Hamdad and Smail Niar and Hamza Ouarnoughi},
journal= {arXiv preprint arXiv:2311.06917},
year = {2023}
}
备注
Accepted in the 41st IEEE International Conference on Computer Design (ICCD 2023)