GQFedWAvg：通用边缘计算系统中基于优化的量化联邦学习
机器学习
2023-11-21 v2 分布式、并行与集群计算
摘要
在实际边缘计算系统中最优地实现联邦学习（FL）一直是一个悬而未决的问题。本文提出一种基于优化的量化FL算法，其能恰当地适配在工作者处具有均匀或非均匀计算与通信资源的通用边缘计算系统。具体而言，我们首先提出一种新的随机量化方案并分析其性质。接着，我们提出一种通用量化FL算法，即GQFedWAvg。具体地，GQFedWAvg将所提量化方案应用于对明智选择的模型更新相关向量进行量化，并采用一种广义小批量随机梯度下降（SGD）方法，在全局模型聚合中对本地模型更新进行加权平均。此外，GQFedWAvg具有若干可调节算法参数，以灵活适配服务器与工作者处的计算和通信资源。我们还分析了GQFedWAvg的收敛性。接下来，我们在时间与能量约束下优化GQFedWAvg的算法参数以最小化收敛误差。我们借助广义内近似（GIA）与多个精细技巧成功解决了这一具有挑战性的非凸问题。最后，我们阐释GQFedWAvg的作用原理，并利用数值结果展示其相对于现有FL算法的显著增益。
引用
@article{arxiv.2306.07497,
title = {GQFedWAvg: Optimization-Based Quantized Federated Learning in General Edge Computing Systems},
author = {Yangchen Li and Ying Cui and Vincent Lau},
journal= {arXiv preprint arXiv:2306.07497},
year = {2023}
}
备注
to appear in IEEE Transactions on Wireless Communications