论服务器动量在联邦学习中的作用
机器学习
2023-12-21 v1 人工智能
分布式、并行与集群计算
摘要
联邦平均算法（FedAvg）在面临显著的客户机系统异构性和数据异构性时，已知会出现收敛问题。服务器动量已被提出作为一种有效的缓解手段。然而，现有的服务器动量研究在动量公式上具有局限性，未能恰当地调度超参数，且仅关注系统同质化设置，这使得服务器动量的作用仍然是一个未被充分探索的问题。在本文中，我们提出了一个通用的服务器动量框架，该框架：(a) 涵盖了联邦学习（FL）中尚未探索的大类动量方案；(b) 支持一种流行的分段式超参数调度器；(c) 允许异构和异步的本地计算。我们为所提出的框架提供了严格的收敛性分析。据我们所知，这是第一项彻底分析带有超参数调度器和系统异构性的服务器动量性能的工作。大量实验验证了我们所提出框架的有效性。
引用
@article{arxiv.2312.12670,
title = {On the Role of Server Momentum in Federated Learning},
author = {Jianhui Sun and Xidong Wu and Heng Huang and Aidong Zhang},
journal= {arXiv preprint arXiv:2312.12670},
year = {2023}
}
备注
Accepted at AAAI 2024