释放联邦学习在更深模型上的潜力

Haolin Wang; Xuefeng Liu; Jianwei Niu; Shaojie Tang; Jiaxing Shen

释放联邦学习在更深模型上的潜力

机器学习 2023-06-06 v1 人工智能

作者: Haolin Wang , Xuefeng Liu , Jianwei Niu , Shaojie Tang , Jiaxing Shen

摘要

联邦学习(FL)是一种分布式机器学习的新范式，它允许在多个客户端上训练全局模型而不损害其隐私。尽管FL在各种场景中已展现出显著成功，近期研究主要使用浅层和小规模神经网络。在我们的研究中，我们发现将现有FL框架应用于更深的神经网络时会出现显著的性能下降，即使在客户端数据独立同分布(i.i.d.)的情况下也是如此。我们进一步的调查表明，这种下降是由于客户端模型在逐层反向传播过程中差异性的持续累积所致，我们称之为“发散累积(divergence accumulation)”。由于更深的模型涉及更长的发散累积链，它们往往表现出更大的发散，进而导致性能下降。我们提出了理论推导与经验证据，以支持发散累积的存在及其在更深模型中被放大的效应。为解决此问题，我们提出了若干基于减少发散的技术指导，例如使用更宽的模型和减小感受野。这些方法可大幅提升FL在更深模型上的准确率。例如，这些指导的应用可使ResNet101模型在Tiny-ImageNet数据集上的性能提升高达43%。

关键词

联邦学习深度神经网络发散累积反向传播模型宽度感受野 ResNet101

引用

@article{arxiv.2306.02701,
  title  = {Unlocking the Potential of Federated Learning for Deeper Models},
  author = {Haolin Wang and Xuefeng Liu and Jianwei Niu and Shaojie Tang and Jiaxing Shen},
  journal= {arXiv preprint arXiv:2306.02701},
  year   = {2023}
}

备注

16 pages, 8 figures

释放联邦学习在更深模型上的潜力

摘要

关键词

引用

备注

相关论文