基于原型对齐与放大的异构联邦学习
机器学习
2025-07-08 v1 分布式、并行与集群计算
摘要
数据分布和模型架构的异构性仍然是联邦学习（FL）中的重大挑战。最近提出了各种异构FL（HtFL）方法来解决这一挑战。其中，基于原型的FL（PBFL）已成为一种实用的框架，它仅共享来自倒数第二层的每类平均激活。然而，PBFL方法通常受限于次优的原型分离，限制了其判别能力。我们提出了原型归一化（ProtoNorm），一种新颖的PBFL框架，通过两个关键组件解决此限制：原型对齐（PA）和原型放大（PU）。PA方法从经典物理中的Thomson问题中汲取灵感，优化单位球面上的全局原型配置以最大化角度分离；随后，PU方法增加原型幅度以增强欧几里得空间中的分离。在基准数据集上的广泛评估表明，我们的方法能更好地分离原型，因此持续优于现有的HtFL方法。值得注意的是，由于ProtoNorm继承了PBFL的通信效率，且PA在服务器端执行，因此它特别适用于资源受限的环境。
引用
@article{arxiv.2507.04310,
title = {Heterogeneous Federated Learning with Prototype Alignment and Upscaling},
author = {Gyuejeong Lee and Jihwan Shin and Daeyoung Choi},
journal= {arXiv preprint arXiv:2507.04310},
year = {2025}
}