突破模型异构联邦学习中的容量瓶颈：渐进式模型恢复方法
分布式、并行与集群计算
2026-05-12 v2
摘要
联邦学习（FL）支持分布式模型训练，但在异构部署中，带宽受限客户端（BCCs）由于上行带宽有限往往贡献效率低下。在模型异构联邦学习中，使用固定小子模型时，BCCs可能在早期轮次中快速提升，但随后变得参数不足，导致收敛缓慢和泛化能力差。为应对这一挑战，我们提出 FedGMR，一个以渐进式模型恢复（GMR）为中心的联邦学习框架，其中 GMR 在训练过程中逐步增加每个客户端的子模型密度，使 BCCs 能够在整个优化过程中保持有效的贡献者。为使 GMR 在真实世界异构性下可行，FedGMR 被实现为一个端到端工作流，具备异步协调和稳定的、掩码感知的聚合机制。我们进一步建立了收敛性保证，表明聚合误差随客户端和轮次间的平均子模型密度缩放，且 GMR 显著缩小了与完整模型联邦学习之间的差距。在 FEMNIST、CIFAR-10、ImageNet-100 和 StackOverflow 上的广泛实验表明，FedGMR 提升了收敛速度和最终准确率，尤其是在严重异构和非独立同分布数据分布下。
引用
@article{arxiv.2512.05372,
title = {Breaking the Capacity Bottleneck in Model-Heterogeneous Federated Learning via Gradual Model Restoration},
author = {Chengjie Ma and Seungeun Oh and Jihong Park and Seong-Lyun Kim},
journal= {arXiv preprint arXiv:2512.05372},
year = {2026}
}