精细微调削弱基础模型在长尾个人化联邦学习中的平衡性
计算机视觉与模式识别
2026-05-05 v1
摘要
个人化联邦学习(PFL)已成为支持客户端适应异构数据分布的有前景范式。然而，现实场景常面临非IID数据与长尾类别分布的共现，为PFL的独特挑战在内未被充分探讨。本文调查了长尾个人化联邦学习，发现当前方法存在两个局限：(i)精细微调因削弱基础模型内在类别平衡性而在零样图基线之下降级；(ii)常规个人化技术通过参数或特征级融合进一步将这种偏差传递给本地模型。为解决这些问题，我们提出了通过梯度净化和残差学习进行联邦学习(FedPuReL)，既保留全局模型中平衡的知识，又实现无偏personalization。具体而言，我们使用零样图预测对本地梯度进行净化，以保持类别平衡的全局模型，将个人化建模为在冻结的全局模型之上的残差校正。大量实验表明，FedPuReL在多样化长尾情景下， consistently优于最先进的方法，在全局和personalized模型上均实现卓越性能。代码已发布于https://github.com/shihaohou/FedPuReL。
引用
@article{arxiv.2605.02247,
title = {Fine-Tuning Impairs the Balancedness of Foundation Models in Long-tailed Personalized Federated Learning},
author = {Shihao Hou and Chikai Shang and Zhiheng Yang and Jiacheng Yang and Xinyi Shang and Junlong Gao and Yiqun Zhang and Yang Lu},
journal= {arXiv preprint arXiv:2605.02247},
year = {2026}
}
备注
Accepted by CVPR 2026