PM-MOE：面向个性化联邦学习的私有模型参数混合专家架构
机器学习
2025-02-04 v1 人工智能
密码学与安全
摘要
联邦学习（FL）因其隐私保护和协作学习能力而受到广泛关注。由于显著的统计异质性，传统 FL 难以在多样化的数据域上泛化出一个共享模型。个性化联邦学习通过将模型划分为全局共享部分和本地私有部分来解决此问题，其中本地模型修正全局模型引入的表示偏差。然而，本地收敛的参数能更准确地捕捉领域特定知识，而当前方法忽视了这些参数的潜在益处。为解决这些局限性，我们提出了 PM-MoE 架构。该架构集成了个性化模块混合和基于能量的个性化模块去噪，使每个客户端能够从其他客户端选择有益的个性化参数。我们将 PM-MoE 架构应用于九种最新的基于模型分割的个性化联邦学习算法，以极少的额外训练实现了性能提升。在六个广泛采用的数据集和两种异质性设置上的大量实验验证了我们方法的有效性。源代码可在 \url{https://github.com/dannis97500/PM-MOE} 获取。
引用
@article{arxiv.2502.00354,
title = {PM-MOE: Mixture of Experts on Private Model Parameters for Personalized Federated Learning},
author = {Yu Feng and Yangli-ao Geng and Yifan Zhu and Zongfu Han and Xie Yu and Kaiwen Xue and Haoran Luo and Mengyang Sun and Guangwei Zhang and Meina Song},
journal= {arXiv preprint arXiv:2502.00354},
year = {2025}
}