中文

从坐标匹配到结构对齐:重新思考异构联邦学习中的原型对齐

人工智能 2026-05-08 v1 分布式、并行与集群计算 机器学习

摘要

异构联邦学习(Heterogeneous Federated Learning, HtFL)旨在enable来自数据分布和模型架构差异的客户端之间的协作。基于原型的方法通过传输类别级特征中心(原型)而非完整模型参数,最近显示出强大的HtFL潜力。现有基于原型的HtFL方法通常复用基于MSE或余弦的对齐机制,用于异构FL中的客户端特定表示与全局原型对齐。这些方法本质上是坐标对齐,在嵌入空间中以元素方式强制客户端表示与全局原型匹配。这种对齐隐式假设所有客户端应将其表示映射到由全局原型定义的特征子空间中。这一假设在同构FL中合理,因为所有客户端共享相同的特征提取器。然而,在HtFL中,由于异构特征提取器自然导致客户端特定的特征子空间,将所有客户端强制优化于单个全局子空间会不必要地抑制其学习能力。我们观察到坐标对齐隐式地将两个 distinct目标捆绑在一起:对齐类间语义结构,这直接有益于分类,以及强制共享特征基,这在模型异构性下是不必要甚至有害的。基于这一洞察,我们设计了FedSAF,通过将对齐目标从绝对坐标转为类间关系结构。我们表明结构对齐在异构设置下 consistently优于坐标对齐。实验在多个基准上显示,结构对齐相对于最新基于原型的HtFL方法提高了最高可达3.52%。

关键词

引用

@article{arxiv.2605.05959,
  title  = {From Coordinate Matching to Structural Alignment: Rethinking Prototype Alignment in Heterogeneous Federated Learning},
  author = {Xinghao Wu and Jianwei Niu and Guogang Zhu and Xuefeng Liu and Shaojie Tang and Jiayuan Zhang},
  journal= {arXiv preprint arXiv:2605.05959},
  year   = {2026}
}

备注

14 pages, 10 figures, 9 tables