FedFa：面向联邦学习的全异步训练范式
机器学习
2024-04-23 v2 人工智能
分布式、并行与集群计算
摘要
联邦学习被认为是一种高效的分布式训练范式，可在保证训练方数据隐私的前提下扩展至大规模设备。FedAvg 作为联邦学习的基础参数更新策略，虽能消除客户端异构数据影响并保证收敛，但每次通信轮次的同步参数更新耗时显著，导致训练过程受阻。近期SOTA方法采用半异步策略以缓解等待成本并保证收敛，然而仍无法完全消除等待时间。我们提出全异步训练范式FedFa，通过服务器端少量缓冲结果实现参数更新，既可保证模型收敛又可彻底消除等待时间。我们对FedFa的收敛率进行了理论证明。大量实验表明，FedFa在保持高精度的同时，分别在IID与Non-IID场景下较现有SOTA同步与半异步策略提升了最高达6倍与4倍的训练性能。
引用
@article{arxiv.2404.11015,
title = {FedFa: A Fully Asynchronous Training Paradigm for Federated Learning},
author = {Haotian Xu and Zhaorui Zhang and Sheng Di and Benben Liu and Khalid Ayed Alharthi and Jiannong Cao},
journal= {arXiv preprint arXiv:2404.11015},
year = {2024}
}