联邦与集中式混合学习
机器学习
2021-02-17 v2 分布式、并行与集群计算
信息论
信号处理
math.IT
摘要
许多机器学习（ML）任务聚焦于集中式学习（CL），其需要将本地数据集从客户端传输至参数服务器（PS），导致巨大的通信开销。联邦学习（FL）通过允许客户端仅向PS发送模型更新而非整个数据集来克服该问题。以此方式，FL将学习推向边缘层级，其中客户端侧需要强大的计算资源。由于边缘设备的计算能力各异，该要求未必总能被满足。我们通过一种新颖的联邦与集中式混合学习（HFCL）框架来解决此问题，以有效利用客户端的计算能力训练学习模型。在HFCL中，仅有具备充足资源的客户端采用FL；其余客户端通过向PS传输其本地数据集而诉诸CL。这使得所有客户端无论其计算资源如何都能协作参与学习过程。我们还提出了一种结合HFCL的顺序数据传输方法（HFCL-SDT）以减少训练时长。所提出的HFCL框架在学习精度（通信开销）方面优于先前提出的基于非混合FL（CL）的方案，因为所有客户端无论其计算资源如何都以其数据集协作参与学习过程。
引用
@article{arxiv.2011.06892,
title = {Hybrid Federated and Centralized Learning},
author = {Ahmet M. Elbir and Sinem Coleri and Kumar Vijay Mishra},
journal= {arXiv preprint arXiv:2011.06892},
year = {2021}
}
备注
5pages4figures. This work has been submitted to the IEEE for publication