具有随机本地更新的延迟敏感分层联邦学习
信息论
2025-01-16 v2 机器学习
网络与互联网体系结构
信号处理
math.IT
摘要
在客户端与参数服务器之间存在通信延迟的情况下，研究了本地平均对联邦学习（FL）系统性能的影响。为最小化延迟影响，将客户端分配至不同组，每组拥有各自的本地参数服务器（LPS）以聚合其客户端的模型。随后各组的模型在仅与 LPS 通信的全局参数服务器（GPS）处聚合。此种设置称为分层 FL（HFL）。与文献中多数工作不同，我们工作中本地与全局通信轮数由各组客户端所经历的（不同）延迟随机决定。具体而言，本地平均轮数绑定于一个称为同步时间 的挂钟时间段，此后 LPS 通过将模型共享给 GPS 来同步。该同步时间 随后被重复应用，直至全局挂钟时间耗尽。首先，推导了各 LPS 处更新模型相对于 GPS 处可用模型的偏差上界。进而将其作为工具，推导我们所提延迟敏感 HFL 算法的收敛性分析，先在各 LPS individually，再于 GPS 处。我们的理论收敛界展示了整个系统参数（包括组数、每组客户端数以及 的值）的影响。结果表明， 的值应谨慎选择，尤其因为它隐式地控制了在训练时间受限情形下延迟统计如何影响 HFL 性能。
引用
@article{arxiv.2302.04851,
title = {Delay Sensitive Hierarchical Federated Learning with Stochastic Local Updates},
author = {Abdulmoneam Ali and Ahmed Arafa},
journal= {arXiv preprint arXiv:2302.04851},
year = {2025}
}
备注
To appear in the IEEE Transactions on Cognitive Communications and Networking