FedBRB：解决设备异构联邦学习中小模型到大模型场景的有效方案
机器学习
2024-02-28 v1
摘要
近期，大模型的成功证明了扩大模型规模的重要性。这激发了从联邦学习角度探索大规模模型协同训练的兴趣。由于计算限制，许多机构难以在本地训练大规模模型。因此，仅使用较小的本地模型来训练更大的全局模型已成为一个重要场景（即**小模型到大模型场景**）。尽管最近的设备异构联邦学习方法已开始探索这一领域，但它们在完全覆盖全局模型参数空间方面面临局限。在本文中，我们提出了一种基于块概念的方法，称为**FedBRB**（分块滚动与加权广播）。FedBRB 能够利用小型本地模型训练大型全局模型的所有块，并将训练后的参数广播至整个空间以实现更快的信息交互。实验表明，FedBRB 产生了显著的性能增益，在该场景中达到了最先进（SOTA）的结果。此外，仅使用最小本地模型的 FedBRB 甚至能超越使用较大本地模型的基线方法。
引用
@article{arxiv.2402.17202,
title = {FedBRB: An Effective Solution to the Small-to-Large Scenario in Device-Heterogeneity Federated Learning},
author = {Ziyue Xu and Mingfeng Xu and Tianchi Liao and Zibin Zheng and Chuan Chen},
journal= {arXiv preprint arXiv:2402.17202},
year = {2024}
}