多层网络中具有动量加速的分层联邦学习
机器学习
2022-10-27 v1 分布式、并行与集群计算
摘要
在本文中，我们提出了具有动量加速的分层联邦学习（HierMo），这是一种三层 worker-edge-cloud 联邦学习算法，应用动量进行训练加速。动量在这三层中进行计算和聚合。我们为 HierMo 提供了收敛性分析，表明其收敛率为 O(1/T)。在分析中，我们开发了一种新方法来刻画模型聚合、动量聚合及其相互作用。基于此结果，{我们证明与没有动量的 HierFAVG 相比，HierMo 实现了更紧的收敛上界}。我们还提出了 HierOPT，它优化聚合周期（worker-edge 和 edge-cloud 聚合周期），以在给定有限训练时间的情况下最小化损失。
引用
@article{arxiv.2210.14560,
title = {Hierarchical Federated Learning with Momentum Acceleration in Multi-Tier Networks},
author = {Zhengjie Yang and Sen Fu and Wei Bao and Dong Yuan and Albert Y. Zomaya},
journal= {arXiv preprint arXiv:2210.14560},
year = {2022}
}
备注
18 pages, 5 figures