FedHiP：通过闭式解实现异构性不变的个人化联邦学习
机器学习
2025-08-07 v1
摘要
最近，个人化联邦学习 (PFL) 作为一种通过协同训练同时适应每个客户本地应用程序的个人化模型方法而逐渐流行。现有的PFL方法通常面临由于客户之间数据异构性（即非独立同分布数据）导致的显著挑战，这严重阻碍收敛并降低性能。我们识别出根本问题在于长期依赖基于梯度的更新，这些更新对非IID数据本质上敏感。为根本性地解决这一问题并弥合研究空白，本文提出了一种称为FedHiP的异构性不变个人化联邦学习方案，通过分析（即闭式）解来避免基于梯度的更新。具体而言，我们利用自监督预训练的趋势，将基础模型作为冻结主干进行梯度-free特征提取。随后在特征提取器之后，我们进一步开发了一个用于梯度-free训练的解析分类器。为支持集体泛化和个体个人化，我们的FedHiP方案包含三个阶段：解析本地训练、解析全局聚合和解析本地个人化。我们FedHiP方案的闭式解使其具备理想的异构性不变性，即每个个人化模型 regardless of 如何在所有其他客户之间分布非IID数据而保持相同。广泛的实验在基准数据集上验证了FedHiP方案的优越性，至少在准确率方面显著优于最新的基线方法5.79%-20.97%。
引用
@article{arxiv.2508.04470,
title = {FedHiP: Heterogeneity-Invariant Personalized Federated Learning Through Closed-Form Solutions},
author = {Jianheng Tang and Zhirui Yang and Jingchao Wang and Kejia Fan and Jinfeng Xu and Huiping Zhuang and Anfeng Liu and Houbing Herbert Song and Leye Wang and Yunhuai Liu},
journal= {arXiv preprint arXiv:2508.04470},
year = {2025}
}
备注
11 pages, 5 figures, 3 tables