面向无线联邦学习的时延感知半同步客户端选择与模型聚合
分布式、并行与集群计算
2022-11-30 v2 人工智能
摘要
联邦学习（FL）是一种协作式机器学习框架，要求不同客户端（例如物联网设备）在每个全局迭代中通过训练并将本地模型上传至 FL 服务器来参与机器学习模型训练过程。在接收到所有客户端的本地模型后，FL 服务器通过聚合接收到的本地模型生成全局模型。这种传统 FL 过程在异构客户端环境下可能遭受掉队者问题，即 FL 服务器在每个全局迭代中必须等待慢速客户端上传其本地模型，从而增加整体训练时间。一种解决方案是设定截止期限，仅那些能在截止期限前上传本地模型的客户端才会被选入 FL 过程。该方案可能因有限的客户端选择而导致收敛速度慢与全局模型过拟合问题。在本文中，我们提出时延感知半同步客户端选择与模型聚合的联邦学习方法（LESSON），其允许所有客户端以不同频率参与整个 FL 过程。即，较快客户端比慢速客户端被调度得更频繁地上传模型，从而解决掉队者问题并加速收敛速度，同时避免模型过拟合。此外，LESSON 能够通过改变截止期限来调整模型精度与收敛速度之间的权衡。我们进行了大量仿真，将 LESSON 与另外两种基线方法即 FedAvg 和 FedCS 的性能进行比较。仿真结果表明，LESSON 比 FedAvg 和 FedCS 实现更快的收敛速度，且比 FedCS 具有更高的模型精度。
引用
@article{arxiv.2210.10311,
title = {Latency Aware Semi-synchronous Client Selection and Model Aggregation for Wireless Federated Learning},
author = {Liangkun Yu and Xiang Sun and Rana Albelaihi and Chen Yi},
journal= {arXiv preprint arXiv:2210.10311},
year = {2022}
}