FedSpeed:更大的本地间隔、更少的通信轮数以及更高的泛化精度

Yan Sun; Li Shen; Tiansheng Huang; Liang Ding; Dacheng Tao

FedSpeed:更大的本地间隔、更少的通信轮数以及更高的泛化精度

机器学习 2023-07-06 v2 分布式、并行与集群计算最优化与控制

作者: Yan Sun , Li Shen , Tiansheng Huang , Liang Ding , Dacheng Tao

摘要

联邦学习是一种新兴的分布式机器学习框架,它通过大量本地设备在保护数据隐私的前提下联合训练一个全局模型。其性能受到本地不一致最优所带来的非消失偏差以及本地过拟合引起的崎岖客户端漂移的影响。本文提出一种新颖且实用的方法FedSpeed,以缓解这些问题带来的负面影响。具体而言,FedSpeed在当前本地更新上应用近端校正项,以有效减少由近端项(维持强本地一致性所必需的正则化器)引入的偏差。此外,FedSpeed将 vanilla 随机梯度与从邻域内额外梯度上升步骤计算的扰动相合并,从而缓解本地过拟合问题。我们的理论分析表明,若设置合适的本地间隔,收敛速率与通信轮数 $T$ 和本地间隔 $K$ 相关,其上界为 $\small \mathcal{O}(1/T)$ 。此外,我们在真实世界数据集上进行了大量实验,以证明所提出的FedSpeed的效率,在通用FL实验设置下,其比若干基线方法显著更快并达到了最先进(SOTA)性能。我们的代码可在 \url{https://github.com/woodenchild95/FL-Simulator.git} 获取。

关键词

联邦学习通信效率本地间隔近端校正客户端漂移泛化精度

引用

@article{arxiv.2302.10429,
  title  = {FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy},
  author = {Yan Sun and Li Shen and Tiansheng Huang and Liang Ding and Dacheng Tao},
  journal= {arXiv preprint arXiv:2302.10429},
  year   = {2023}
}

备注

ICLR 2023

FedSpeed:更大的本地间隔、更少的通信轮数以及更高的泛化精度

摘要

关键词

引用

备注

相关论文