无线网络上联邦学习的收敛时间优化
机器学习
2021-03-29 v2 信息论
网络与互联网体系结构
math.IT
机器学习
摘要
本文研究了在真实无线网络上部署时联邦学习（FL）的收敛时间。具体地，考虑一个无线网络，其中无线用户将其本地 FL 模型（使用其本地收集的数据训练得到）传输至基站（BS）。基站作为中央控制器，利用接收到的本地 FL 模型生成全局 FL 模型并广播回所有用户。由于无线网络中资源块（RBs）数量有限，在每个学习步仅有部分用户可被选中向 BS 传输其本地 FL 模型参数。此外，由于每个用户拥有独特的训练数据样本，BS 倾向于纳入所有本地用户 FL 模型以生成收敛的全局 FL 模型。因此，FL 性能与收敛时间将显著受用户选择方案影响。故而，有必要设计一种合适的用户选择方案，使重要性更高的用户更频繁地被选中。这一联合学习、无线资源分配与用户选择问题被表述为一个优化问题，其目标是在优化 FL 性能的同时最小化 FL 收敛时间。为解决该问题，提出一种概率性用户选择方案，使得 BS 以高概率连接到其本地 FL 模型对全局 FL 模型有显著影响的用户。给定用户选择策略后，可确定上行 RB 分配。为进一步缩短 FL 收敛时间，使用人工神经网络（ANNs）来估计在每个给定学习步未被分配任何 RB 以传输本地 FL 模型的用户的本地 FL 模型，从而使 BS 能够增强其全局 FL 模型并提升 FL 收敛速度与性能。
引用
@article{arxiv.2001.07845,
title = {Convergence Time Optimization for Federated Learning over Wireless Networks},
author = {Mingzhe Chen and H. Vincent Poor and Walid Saad and Shuguang Cui},
journal= {arXiv preprint arXiv:2001.07845},
year = {2021}
}
备注
This paper has been accepted in the IEEE Transactions on Wireless Communications