COSMOS：基于聚类服务器模型和伪标签-only通信的模型无关化个性化联邦学习
机器学习
2026-05-13 v1
摘要
在异构环境中进行联邦学习仍然具有挑战性，因为客户端模型在架构和数据分布方面往往存在差异。虽然最近的一些方法试图通过客户端聚类和知识蒸馏来解决这一挑战，但同时处理架构异构性和统计异构性仍然困难。我们引入COSMOS，一个模型无关的框架，仅通过伪标签通信实现服务器端的个性化。客户端训练本地模型并在公共数据上进行预测；服务器根据预测相似性对客户端进行聚类，对每组训练其专属模型，并将蒸馏得到的模型反向传递给客户端。我们提供的首个理论分析表明，从所学的聚类模型进行蒸馈可以实现指数级的个性化风险收缩，超越通常在模型无关联邦学习中提供的收敛到稳态性保证。跨基准的实验表明，COSMOS在所有模型无关联邦学习基线上都显著优于所有基线，同时与最先进的个性化联邦学习方法保持有竞争力。更广泛地说，我们的结果突显了基于伪标签的服务器端个性化学习作为高度异构环境中可扩展且模型无关联邦学习的有前景的范式。
引用
@article{arxiv.2605.11165,
title = {COSMOS: Model-Agnostic Personalized Federated Learning with Clustered Server Models and Pseudo-Label-Only Communication},
author = {Ben Rachmut and Luise Ge and William Yeoh and Ning Zhang and Yevgeniy Vorobeychik},
journal= {arXiv preprint arXiv:2605.11165},
year = {2026}
}