扩大网络可减轻数据异构性对FedAvg的影响
机器学习
2025-08-19 v1 人工智能
摘要
联邦学习（FL）使客户端能够在不共享本地数据的情况下协同训练模型。FL与集中式学习的关键区别在于客户端的数据是非独立且不一致分布的，这在训练能够良好概括异构本地数据分布的全局模型方面提出了重大挑战。本文分析了带有梯度下降（GD）的过参数化FedAvg的收敛性。我们证明了随着神经网络宽度的增加，数据异构性的影响逐渐减小，最终在宽度趋于无穷大时消失。在无限宽度范式下，我们进一步证明了FedAvg中的全局模型和本地模型都表现为线性模型，并且FedAvg在相同数量的GD迭代次数下 achieves与集中式学习相同的泛化性能。广泛的实验在各种网络架构、损失函数和优化方法下验证了我们的理论发现。
引用
@article{arxiv.2508.12576,
title = {Widening the Network Mitigates the Impact of Data Heterogeneity on FedAvg},
author = {Like Jian and Dong Liu},
journal= {arXiv preprint arXiv:2508.12576},
year = {2025}
}
备注
Accepted by ICML 2025