无线网络中联邦学习的收敛分析与资源分配
机器学习
2020-12-23 v4 分布式、并行与集群计算
网络与互联网体系结构
机器学习
摘要
一种称为联邦学习的快速增长的机器学习技术正受到越来越多的关注，其中模型训练分布于移动用户设备(UE)之上，利用 UE 的本地计算与训练数据。尽管联邦学习(FL)在数据隐私保护方面有优势，仍面临 UE 间数据与物理资源异构性的挑战。我们首先提出一种 FL 算法，除强凸且光滑的损失函数外无需额外假设即可应对 UE 数据异构挑战。我们给出了刻画 UE 本地更新局部模型的本地计算轮数与更新 FL 全局模型的全局通信轮数之间权衡的收敛速率。随后我们将所提 FL 算法应用于无线网络中的资源分配优化问题，该问题刻画了具有异构计算与功率资源的 UE 的 FL 收敛挂钟时间与能耗之间的权衡。尽管 FL 的无线资源分配问题非凸，我们利用该问题结构将其分解为三个子问题，并分析了其闭式解及对问题设计的见解。最后，我们通过 Tensorflow 实验与新算法的理论分析以及针对无线资源分配子问题的广泛数值结果加以说明。实验结果不仅验证了理论收敛性，还表明我们所提算法在收敛速率与测试精度上优于原始 FedAvg 算法。
引用
@article{arxiv.1910.13067,
title = {Federated Learning over Wireless Networks: Convergence Analysis and Resource Allocation},
author = {Canh T. Dinh and Nguyen H. Tran and Minh N. H. Nguyen and Choong Seon Hong and Wei Bao and Albert Y. Zomaya and Vincent Gramoli},
journal= {arXiv preprint arXiv:1910.13067},
year = {2020}
}