非 IID 数据集上分层架构中的序贯联邦学习
机器学习
2024-08-20 v1
摘要
在真实的联邦学习（FL）系统中，客户端与参数服务器（PS）之间传递模型参数的通信开销往往是一个瓶颈。分层联邦学习（HFL）在客户端与 PS 之间设置多个边缘服务器（ES），可以部分缓解通信压力，但仍需在 PS 处聚合来自多个 ES 的模型参数。为进一步减少通信开销，我们首次将序贯 FL（SFL）引入 HFL，通过在每次迭代中仅在两个相邻 ES 之间传递全局模型来完成模型训练，无需中心 PS，并提出了一种适应这种组合框架的新算法 Fed-CHS。我们在各种数据异质性设置下为强凸和非凸损失函数推导了收敛结果，结果表明其收敛性能与单独使用 HFL 或 SFL 的算法相当。实验结果提供了证据表明所提出的 Fed-CHS 在通信开销节省和测试精度方面均优于基线方法。
引用
@article{arxiv.2408.09762,
title = {Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets},
author = {Xingrun Yan and Shiyuan Zuo and Rongfei Fan and Han Hu and Li Shen and Puning Zhao and Yong Luo},
journal= {arXiv preprint arXiv:2408.09762},
year = {2024}
}