MDA:考虑可用性的联邦学习客户端选择
机器学习
2022-11-29 v1
摘要
近来,一种称为联邦学习(FL)的新型分布式学习方案被提出。FL的设计使得服务器从不收集用户拥有的数据,意味着其在保护隐私方面表现出色。FL的过程始于服务器向客户端发送模型,然后客户端使用其数据训练该模型并将更新后的模型发回服务器。之后,服务器聚合所有更新并修改全局模型。此过程重复直至模型收敛。本研究关注一种称为跨设备FL的联邦学习设置,其基于大量客户端进行训练。由于跨设备FL中许多设备可能不可用,且服务器与所有客户端间通信代价极高,每轮仅选择部分客户端进行训练。在原始FL中,客户端被随机选取,这带来可接受精度,但从整体训练时间角度看并不理想,因为某些客户端较慢会导致部分训练轮次变慢。若仅选快速客户端,学习会加速,但会偏向仅快速客户端的数据,精度下降。因此,已提出新客户端选择技术,通过考虑个体客户的资源与速度来改善训练时间。本文引入首个感知可用性的选择策略MDA。结果显示,我们的方法使学习比原始FL快至多6.5%。此外,我们表明资源异构感知技术有效,但与我们的方法结合可更佳,使其比最先进选择器快至多16%。最后,与仅选快速客户端的客户端选择器相比,我们的方法为训练选取了更多独特客户端,降低了我们技术的偏差。
引用
@article{arxiv.2211.14391,
title = {MDA: Availability-Aware Federated Learning Client Selection},
author = {Amin Eslami Abyane and Steve Drew and Hadi Hemmati},
journal= {arXiv preprint arXiv:2211.14391},
year = {2022}
}
备注
Submitted to IEEE Transactions on Reliability