用于联邦边缘学习的基于优化的GenQSGD
机器学习
2021-11-29 v2
摘要
联邦学习（FL）的最优算法设计仍是一个开放问题。本文探索了 FL 在实际边缘计算系统中的全部潜力，其中工作节点可能具有不同的计算和通信能力，且量化的中间模型更新在服务器与工作节点间传输。首先，我们提出一种用于 FL 的通用量化并行小批量随机梯度下降（SGD）算法，即 GenQSGD，其由全局迭代次数、所有工作节点的本地迭代次数以及小批量大小参数化。我们还分析了对于任意算法参数选择的收敛误差。随后，我们在时间约束和收敛误差约束下优化算法参数以最小化能量代价。该优化问题是一个具有不可微约束函数的挑战性非凸问题。我们提出一种迭代算法，利用先进优化技术获得 KKT 点。数值结果展示了 GenQSGD 相对于现有 FL 算法的显著增益，并揭示了最优设计 FL 算法的重要性。
引用
@article{arxiv.2110.12987,
title = {Optimization-Based GenQSGD for Federated Edge Learning},
author = {Yangchen Li and Ying Cui and Vincent Lau},
journal= {arXiv preprint arXiv:2110.12987},
year = {2021}
}
备注
6 pages, to appear in IEEE GLOBECOM 2021