FedFog：无线雾-云系统上联邦学习的网络感知优化
机器学习
2024-10-28 v3 分布式、并行与集群计算
摘要
联邦学习（FL）能够通过周期性聚合训练好的本地参数，在多个边缘用户间执行大规模分布式机器学习任务。为解决在无线雾-云系统上实现 FL 的关键挑战（例如非独立同分布数据、用户异质性），我们首先提出一种基于联邦平均（Federated Averaging）的高效 FL 算法（称为 FedFog），以在雾服务器执行梯度参数的本地聚合、在云执行全局训练更新。接着，我们通过研究一种在全局损失与完成时间间取得平衡的新颖网络感知 FL 优化问题，将 FedFog 应用于无线雾-云系统。随后开发迭代算法以精确度量系统性能，助于设计高效停止准则以输出合适的全局轮数。为缓解掉队者效应，我们提出灵活的用户聚合策略：先训练快速用户至一定精度，再允许慢速用户加入全局训练更新。利用多个真实世界 FL 任务的大量数值结果验证了 FedFog 的理论收敛性。我们还表明，所提出的 FL 与通信协同设计对于在取得可比学习模型精度的同时大幅提升资源利用率至关重要。
引用
@article{arxiv.2107.02755,
title = {FedFog: Network-Aware Optimization of Federated Learning over Wireless Fog-Cloud Systems},
author = {Van-Dinh Nguyen and Symeon Chatzinotas and Bjorn Ottersten and Trung Q. Duong},
journal= {arXiv preprint arXiv:2107.02755},
year = {2024}
}
备注
IEEE Transactions on Wireless Communications