面向无线边缘网络低时延联邦学习的编码计算
分布式、并行与集群计算
2021-05-11 v2 机器学习
机器学习
摘要
联邦学习能够利用位于客户端节点的数据进行全局模型训练，而无需数据共享或将客户端数据移至中心服务器。在多接入边缘计算（MEC）网络中，由于各客户端计算能力与通信链路质量的异构性和随机波动，联邦学习的性能受到收敛缓慢的困扰。我们提出了一种新颖的编码计算框架 CodedFedL，它将结构化编码冗余注入联邦学习，以缓解掉队者（stragglers）并加速训练过程。CodedFedL 通过随机傅里叶特征高效利用分布式核嵌入，将训练任务转化为计算友好的分布式线性回归，从而实现非线性联邦学习的编码计算。此外，客户端通过对本地数据集进行编码生成本地奇偶数据集，而服务器将其组合得到全局奇偶数据集。来自全局奇偶数据集的梯度补偿了训练期间的掉队梯度，从而加速收敛。为最小化 MEC 服务器的轮次截止时间，我们利用计算与通信延迟的统计特性，提供了一种可处理的方法来确定编码冗余量以及客户端在训练期间处理的本地数据点数。我们还刻画了客户端与服务器共享本地奇偶数据集时的数据隐私泄露情况。在简化假设下，我们将 CodedFedL 视为随机梯度下降算法，分析了其收敛速率与迭代复杂度。此外，我们使用实际网络参数与基准数据集进行数值实验，其中 CodedFedL 相比基准方案将总体训练时间最高加速 。
引用
@article{arxiv.2011.06223,
title = {Coded Computing for Low-Latency Federated Learning over Wireless Edge Networks},
author = {Saurav Prakash and Sagar Dhakal and Mustafa Akdeniz and Yair Yona and Shilpa Talwar and Salman Avestimehr and Nageen Himayat},
journal= {arXiv preprint arXiv:2011.06223},
year = {2021}
}
备注
Final version to appear in the first issue of the IEEE JSAC Series on Machine Learning for Communications and Networks