FedORGP：基于全局原型正交正则化引导的异构性联邦学习
机器学习
2025-04-02 v2 分布式、并行与集群计算
摘要
联邦学习 (FL) 已成为分布式机器学习的关键框架， 特别是在其潜在的隐私保护数据处理方面。然而， 现有 FL 框架难以解决统计异构性和模型异构性问题， 这些问题严重影响模型性能。虽然异构性联邦学习 (HtFL) 引入了基于原型的策略以应对挑战， 但当前方法在实现原型最优分离方面存在局限。本文提出 FedORGP， 一种新型 HtFL 算法旨在通过正交正则化提高全局原型分离度， 该方法不仅鼓励类内原型相似性， 还显著扩大类间角度分离。 在全局原型的指导下， 每个客户端保持其嵌入向量与相应原型在特征空间中的对齐， 从而促进方向独立性， 可无缝集成到交叉熵 (CE) 损失中。我们对 FedORGP 在非凸条件下的收敛性提供了理论证明。大量实验表明， FedORGP 在统计异构性和模型异构性共存的情形下， 比七种最先进的基线方法性能提升最高可达 10.12%。
引用
@article{arxiv.2502.16119,
title = {FedORGP: Guiding Heterogeneous Federated Learning with Orthogonality Regularization on Global Prototypes},
author = {Fucheng Guo and Zeyu Luan and Qing Li and Dan Zhao and Yong Jiang},
journal= {arXiv preprint arXiv:2502.16119},
year = {2025}
}