FedMerge：通过模型合并实现联邦学习中的个人化
机器学习
2026-02-19 v3
摘要
在联邦学习 (FL) 中，单个全局模型可能不足以服务于具有非独立同分布 (non-IID) 任务和分布的众多客户端。虽然 FL 领域已有诸多进展用于训练多个全局模型以实现更好的个人化，但仅能为客户端提供有限的选择，仍不可避免地需要本地微调。在本文中，我们提出一种新型 "FedMerge" 方法，能够通过自动优化和定制化的权重合并多个全局模型，为每个客户端创建个人化模型。在 FedMerge 中，少数全局模型即可服务于众多非 IID 客户端，甚至无需进一步的本地微调。我们将此问题表述为全局模型与每个客户端的合并权重的联合优化。与现有 FL 方法不同，服务器无需向所有客户端广播一个或多个全局模型，只需向每个客户端发送定制化的合并模型。此外，与周期性中断本地训练并重新初始化为全局模型的做法不同，合并后的模型更符合每个客户端的任务和数据分布，平滑了因客户端漂移导致的连续轮次之间的局部-全局间隙。我们在三个不同非 IID 设置下进行评估，这些设置适用于不同领域中具有不同任务和数据类型的场景，在这些场景中，FedMerge 均一致优于现有 FL 方法，包括基于聚类的和基于混合专家 (Mixture-of-Experts, MoE) 的方法。
引用
@article{arxiv.2504.06768,
title = {FedMerge: Federated Personalization via Model Merging},
author = {Shutong Chen and Tianyi Zhou and Guodong Long and Jing Jiang and Chengqi Zhang},
journal= {arXiv preprint arXiv:2504.06768},
year = {2026}
}