异步分层联邦学习
机器学习
2022-06-02 v1
摘要
联邦学习是一个快速发展的研究领域，具有多种益处和工业应用。典型的联邦模式存在一些固有问题，如服务器流量大、收敛周期长以及精度不可靠。在本文中，我们通过提出异步分层联邦学习来解决这些问题，其中中央服务器使用网络拓扑或某种聚类算法为工作节点（即客户端设备）分配簇。在每个簇中，选取一个特殊的聚合设备以实现分层学习，从而在服务器与工作节点间实现高效通信，使服务器负担显著减轻。此外，采用异步联邦学习框架以容忍系统异构性并快速收敛，即服务器按陈旧度参数加权聚合来自工作节点的梯度以更新全局模型，工作节点执行正则化随机梯度下降，从而缓解异步学习的不稳定性。我们在 CIFAR-10 图像分类任务上评估所提算法，实验结果证明了异步分层联邦学习的有效性。
引用
@article{arxiv.2206.00054,
title = {Asynchronous Hierarchical Federated Learning},
author = {Xing Wang and Yijun Wang},
journal= {arXiv preprint arXiv:2206.00054},
year = {2022}
}