FedCoE：通过联邦协调双层混合专家框架桥接泛化与个人化
机器学习
2026-05-21 v1
摘要
联邦学习（FL）已成为一种具有隐私保护特性的分布式学习的有前景的范例。然而，现有的联邦方法面临一个根本性挑战。传统的基于平均值的方法在非 IID 条件下 suffer 从参数发散，而个人化联邦学习方法过拟合到本地数据，无法泛化到新客户端（冷启动问题）。混合专家自然通过将异构数据路由到专业专家而非强制统一聚合，从而解决这一问题。本文提出了FedCoE，即一种 Federated Coordinated 双层混合专家框架，有效平衡全局泛化与本地个人化。FedCoE在服务器上维护多个独立的全局专家模型，并采用共享的门控网络在聚合期间动态建模客户端-专家相关性，从而有效缓解专家漂移和门控不一致问题。为解决冷启动挑战，我们引入一种自适应机制，使新客户端能够在无需 extensive 本地训练的情况下立即利用全局专家池。大量实验表明，FedCoE在平均情况下实现了78.00%的全局准确率和89.32%的个人化准确率，分别超过基线8.82%和29.19%。在冷启动场景下，FedCoE在无任何本地微调的情况下达到了77.27%的准确率，超过基线超过12.54%。
引用
@article{arxiv.2605.21264,
title = {FedCoE: Bridging Generalization and Personalization via Federated Coordinated Dual-level MoEs},
author = {Penglin Dai and Fulian Li and Xincao Xu and Junhua Wang and Lixin Duan and Xiao Wu},
journal= {arXiv preprint arXiv:2605.21264},
year = {2026}
}