聚类联邦堆叠：基于贝叶斯信息准则的中间全局模型
机器学习
2025-06-17 v2 人工智能
摘要
联邦学习（FL）因其协作学习及保护客户端隐私的能力，当前是人工智能（AI）领域最受欢迎的技术之一。然而，它面临诸如本地客户端间非独立同分布（non-IID）及标签不平衡数据等挑战。为应对这些局限，研究界已探索多种方法，如使用本地模型参数、联邦生成对抗学习以及联邦表示学习。在我们的研究中，我们基于先前发布的堆叠联邦学习（FedStack）框架提出一种新颖的聚类 FedStack（Clustered FedStack）框架。本地客户端将其模型预测与输出层权重发送至服务器，服务器据此构建鲁棒的全局模型。该全局模型利用聚类机制基于输出层权重对本地客户端进行聚类。我们将三种聚类机制，即 K-Means、Agglomerative 与高斯混合模型（Gaussian Mixture Models），引入该框架并评估其性能。我们使用带最大似然函数的贝叶斯信息准则（BIC）来确定聚类数目。聚类 FedStack 模型优于带聚类机制的基线模型。为估计我们所提框架的收敛性，我们使用循环学习率（Cyclical learning rates）。
引用
@article{arxiv.2309.11044,
title = {Clustered FedStack: Intermediate Global Models with Bayesian Information Criterion},
author = {Thanveer Shaik and Xiaohui Tao and Lin Li and Niall Higgins and Raj Gururajan and Xujuan Zhou and Jianming Yong},
journal= {arXiv preprint arXiv:2309.11044},
year = {2025}
}
备注
This work has been submitted to the ELSEVIER for possible publication