受神经塌缩启发的标签分布偏斜下的多标签联邦学习
计算机视觉与模式识别
2026-03-24 v4
摘要
联邦学习 (Federated Learning, FL) 允许在分布式客户端间进行协作模型训练，同时保护数据隐私，但当客户端数据高度异构时仍面临挑战。在多标签场景中，这些挑战被进一步放大，标签间依赖关系以及局部与全局标签关系之间的不匹配引入了额外的优化冲突。尽管大多数 FL 研究聚焦于单标签分类，但许多现实应用本质上属于多标签，且常在客户端间表现出严重的标签偏斜。为解决这一重要但尚未充分探索的问题，我们提出 FedNCA-ML，一种受神经塌缩 (Neural Collapse, NC) 理论启发的全新 FL 框架，其对齐客户端表示并学习具有判别性、良好聚类的特征。NC 描述了一种理想的潜在几何结构，其中每个类的特征塌缩至其均值，形成最大分离的单纯形。FedNCA-ML 进一步引入基于注意力的模块以提取类特定表示，在严重标签不平衡下实现更均衡的学习。随后，这些类级表示通过共享的 NC 启发结构进行对齐，缓解由异构局部数据和不一致标签依赖引起的客户端间冲突。此外，我们设计了正则化损失以鼓励潜在空间中紧凑且一致的特征聚类。在九种 FL 设置下对五个基准数据集的实验证明了所提方法的有效性，在类级 AUC 和类级 F1 分数上分别实现了高达 3.92% 和 4.93% 的提升。
引用
@article{arxiv.2509.12544,
title = {Neural Collapse-Inspired Multi-Label Federated Learning under Label-Distribution Skew},
author = {Can Peng and Yuyuan Liu and Yingyu Yang and Pramit Saha and Qianye Yang and J. Alison Noble},
journal= {arXiv preprint arXiv:2509.12544},
year = {2026}
}