面向大规模物联网网络的异步参数共享去中心化联邦学习
信息论
2024-01-17 v1 math.IT
摘要
联邦学习(FL)使无线终端能够协作学习共享参数模型,同时将所有训练数据保留在设备本地。参数共享包括同步和异步两种方式:前者以块或帧的形式传输参数并等待所有传输完成,后者则提供关于待处理和失败参数传输请求状态的消息。无论采用同步还是异步参数共享,学习模型都必须适应不同的网络架构,因为不恰当的学习模型会降低学习性能,甚至在资源受限的大规模物联网(IoT)网络异步传输中导致模型发散。本文提出一种去中心化学习模型,并为资源受限的分布式物联网网络开发了一种异步参数共享算法。该去中心化学习模型随着节点数量增加逼近凸函数,其学习过程以高于集中式 FL 模型的概率收敛到全局平稳点。此外,通过联合考虑联邦学习的收敛界和无线通信的传输延迟,我们开发了一种节点调度与带宽分配算法以最小化传输延迟。大量仿真结果证实了该分布式算法在学习模型快速收敛和低传输延迟方面的有效性。
引用
@article{arxiv.2401.07122,
title = {Decentralized Federated Learning with Asynchronous Parameter Sharing for Large-scale IoT Networks},
author = {Haihui Xie and Minghua Xia and Peiran Wu and Shuai Wang and Kaibin Huang},
journal= {arXiv preprint arXiv:2401.07122},
year = {2024}
}
备注
17 pages, 8 figures, to appear in IEEE Internet of Things Journal