面向数据不平衡物联网异构系统的通信高效分层联邦学习
机器学习
2021-07-15 v1 分布式、并行与集群计算
多智能体系统
网络与互联网体系结构
摘要
联邦学习（FL）是一种分布式学习方法，允许多个节点协作训练深度学习模型，而无需共享其本地数据。对于需要在不同地点进行密集数据采集，以实现对未来事件的检测、分类和预测，同时保持严格隐私约束的远程监测系统而言，它是一种有前景的解决方案。由于隐私担忧和关键的通信瓶颈，将FL更新后的模型发送至中心化服务器可能变得不切实际。因此，本文研究了分层FL在物联网异构系统中的潜力，并提出了一种针对多边缘节点上用户分配与资源分配的优化方案。特别地，本工作聚焦于一类使用基于梯度下降的方案训练的通用机器学习模型，同时考虑了不同用户间数据非均匀分布的现实约束。我们使用两个真实世界数据集评估所提系统，并表明其优于最先进的FL方案。具体而言，我们的数值结果凸显了方法的有效性，及其相对于考虑基于距离用户分配的分层FL方案提供4–6%分类准确率提升的能力。此外，所提方法能显著加速FL训练，并通过在边缘节点与中心化服务器间通信轮次减少75–85%（在相同模型准确率下）来降低通信开销。
引用
@article{arxiv.2107.06548,
title = {Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data},
author = {Alaa Awad Abdellatif and Naram Mhaisen and Amr Mohamed and Aiman Erbad and Mohsen Guizani and Zaher Dawy and Wassim Nasreddine},
journal= {arXiv preprint arXiv:2107.06548},
year = {2021}
}
备注
A version of this work has been submitted in Transactions on Network Science and Engineering