FedGuCci：在联邦学习的景观中增强局部模型的连接性
机器学习
2025-05-27 v3
摘要
联邦学习 (FL) 涉及多个异构客户端通过迭代局部更新和模型融合协同训练全局模型。FL 全局模型的泛化能力与集中式训练相比存在较大差距，这是其更广泛应用的瓶颈。在本文中，我们从基本的“连接性”角度研究并改善 FL 的泛化能力，这意味着局部模型在参数区域中如何连接并融合成泛化的全局模型。“连接性”一词源自线性模式连接性 (LMC)，用于研究神经网络两个不同解（例如模式）的插值损失景观。为了弥合 LMC 与 FL 之间的差距，在本文中，我们利用固定锚点模型，从经验和理论上研究连接性从两个模型 (LMC) 到一组模型（FL 中的模型融合）的传递性。基于这些发现，我们提出了 FedGuCci(+)，通过改善群体连接性以获得更好的泛化能力。结果表明，我们的方法可以在各种任务（4 个 CV 数据集和 6 个 NLP 数据集）和模型架构（例如 ViTs 和 PLMs）下，在客户端异构性环境中提升 FL 的泛化能力。代码在此处可用：\href{https://github.com/ZexiLee/fedgucci}{\faGithub~FedGuCci Codebase}。
引用
@article{arxiv.2402.18949,
title = {FedGuCci: Making Local Models More Connected in Landscape for Federated Learning},
author = {Zexi Li and Jie Lin and Zhiqi Li and Didi Zhu and Tao Shen and Tao Lin and Chao Wu and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2402.18949},
year = {2025}
}
备注
SIGKDD 2025