具有降低通信需求的异步在线联邦学习
机器学习
2023-10-31 v2 分布式、并行与集群计算
最优化与控制
机器学习
摘要
在线联邦学习（FL）使地理分布的设备能够从本地可用的流数据中学习全局共享模型。多数在线 FL 文献考虑了关于参与客户端与通信信道的最佳场景，然而这些假设在真实应用中常不成立。异步设置可反映更真实的环境，例如由于可用计算能力与电池限制导致的异构客户端参与，以及由通信信道或掉队设备引起的延迟。此外，多数应用必须考虑能效。利用基于部分共享的通信原理，我们提出了一种通信高效的异步在线联邦学习（PAO-Fed）策略。通过降低参与方的通信开销，所提方法使学习任务的参与更便捷高效。此外，所提聚合机制考虑了随机参与，处理延迟更新并缓解其对准确率的影响。我们证明了 PAO-Fed 方法的一阶与二阶收敛性，并给出了其稳态均方偏差表达式。最后，我们进行了全面仿真以研究所提方法在合成与真实数据集上的性能。仿真表明，在异步设置下，所提 PAO-Fed 能在将通信开销降低 98% 的同时，达到与在线联邦随机梯度相同的收敛特性。
引用
@article{arxiv.2303.15226,
title = {Asynchronous Online Federated Learning with Reduced Communication Requirements},
author = {Francois Gauthier and Vinay Chakravarthi Gogineni and Stefan Werner and Yih-Fang Huang and Anthony Kuh},
journal= {arXiv preprint arXiv:2303.15226},
year = {2023}
}
备注
A conference precursor of this work appears in the 2022 IEEE ICC