面向非独立同分布数据上无界陈旧梯度的高效稳定K异步联邦学习
机器学习
2022-03-03 v1 分布式、并行与集群计算
摘要
联邦学习(FL)是一种新兴的隐私保护范式，使多个参与方能够在不上传原始数据的情况下协作训练全局模型。考虑到不同参与方异构的计算与通信能力，异步FL可避免同步FL中的掉队者效应，并适应拥有海量参与方的场景。异步FL中的陈旧性与非独立同分布(non-IID)数据都会降低模型效用。然而，针对这两个问题的解决方案之间存在固有矛盾：缓解陈旧性要求选择更少但一致的梯度，而应对非IID数据则需要更全面的梯度。为化解该困境，本文提出一种带自适应学习率的两阶段加权异步FL(WKAFL)。通过选择一致梯度并自适应调整学习率，WKAFL利用陈旧梯度并缓解非IID数据的影响，从而在训练速度、预测精度与训练稳定性上实现多方面提升。我们还在无界陈旧性假设下给出了WKAFL的收敛性分析，以理解陈旧性与非IID数据的影响。在基准与合成FL数据集上的实验表明，与现有算法相比，WKAFL具有更优的综合性能。
引用
@article{arxiv.2203.01214,
title = {Towards Efficient and Stable K-Asynchronous Federated Learning with Unbounded Stale Gradients on Non-IID Data},
author = {Zihao Zhou and Yanan Li and Xuebin Ren and Shusen Yang},
journal= {arXiv preprint arXiv:2203.01214},
year = {2022}
}