基于 Nesterov 加速梯度的联邦学习
机器学习
2022-10-27 v2 分布式、并行与集群计算
机器学习
摘要
联邦学习（FL）是一种快速发展的技术，允许多个工作者基于分布式数据集训练全局模型。常规 FL（FedAvg）采用梯度下降算法，其效率可能不足。动量通过增加额外的动量步以加速收敛，并在集中式和 FL 环境中均展现出优势。众所周知，Nesterov 加速梯度（NAG）是动量的一种更具优势的形式，但迄今为止尚不清楚如何量化 NAG 在 FL 中的益处。这促使我们提出 FedNAG，其在每个工作者中采用 NAG，并在聚合器中采用 NAG 动量与模型聚合。我们给出了 FedNAG 详细的收敛性分析，并与 FedAvg 比较。基于真实世界数据集和轨迹驱动仿真进行了大量实验，表明在广泛设置下，与基准相比，FedNAG 将学习准确率提高了 3–24%，并将总训练时间减少了 11–70%。
引用
@article{arxiv.2009.08716,
title = {Federated Learning with Nesterov Accelerated Gradient},
author = {Zhengjie Yang and Wei Bao and Dong Yuan and Nguyen H. Tran and Albert Y. Zomaya},
journal= {arXiv preprint arXiv:2009.08716},
year = {2022}
}
备注
publised in TPDS. 18 pages, 6 figures