一种联邦与集中式学习的混合架构
机器学习
2022-06-02 v3 信息论
信号处理
math.IT
摘要
许多机器学习任务依赖于集中式学习（CL），其需要将本地数据集从客户端传输至参数服务器（PS），带来巨大的通信开销。为克服此问题，联邦学习（FL）已被提出作为一种有前景的工具，其中客户端仅将模型更新而非整个数据集发送至 PS。然而，FL 要求客户端具备强大的计算资源。在实践中，并非所有客户端都有充足的计算资源参与训练。针对这一常见场景，我们提出一种更高效的称为混合联邦与集中式学习（HFCL）的方法，其中仅具备充足资源的客户端采用 FL，其余客户端将其数据集发送至 PS，由 PS 代为计算模型。随后，模型参数在 PS 处聚合。为提升数据集传输效率，我们提出两种不同技术：i) 每客户端增加计算量，以及 ii) 顺序数据传输。值得注意的是，当仅一半客户端执行 FL 时，HFCL 框架的学习精度比 FL 高出至多 20%，且由于所有客户端均以其数据集协作参与学习过程，其通信开销比 CL 低 50%。
引用
@article{arxiv.2105.03288,
title = {A Hybrid Architecture for Federated and Centralized Learning},
author = {Ahmet M. Elbir and Sinem Coleri and Anastasios K. Papazafeiropoulos and Pandelis Kourtessis and Symeon Chatzinotas},
journal= {arXiv preprint arXiv:2105.03288},
year = {2022}
}
备注
Accepted paper in IEEE Transactions on Cognitive Communications and Networking