关于异构化性联邦学习中个性化微调的深入探讨
机器学习
2025-12-30 v2 人工智能
分布式、并行与集群计算
机器学习
摘要
联邦学习（FL）使能够实现去中心化、隐私保护的模型训练，但由于跨客户端数据分布不一致，难以平衡全局泛化与本地个性化。个性化微调（PFT）作为一种流行的事后解决方案，通过在本地对最终全局模型进行微调，但常常过度拟合偏斜的客户端分布，或在域迁移下失败。我们提出采用线性探针随后进行完全微调（LP-FT），即一种原则化的集中策略，用于缓解特征失真（Kumar 等人，2022）。通过在七个数据集和六种 PFT 变体上的系统评估，我们展示 LP-FT 在平衡个性化与泛化方面的优势。我们的分析揭示了联邦特征失真现象，即本地微调会使全局学习的特征不稳定；并理论地刻画了 LP-FT 如何通过分阶段参数更新来缓解这一问题。我们进一步确立了 LP-FT 优于标准微调的条件（例如部分特征重叠、协变量-概念迁移），为在联邦学习中部署稳健的个性化提供了可操作指南。
引用
@article{arxiv.2511.12695,
title = {A Closer Look at Personalized Fine-Tuning in Heterogeneous Federated Learning},
author = {Minghui Chen and Hrad Ghoukasian and Ruinan Jin and Zehua Wang and Sai Praneeth Karimireddy and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2511.12695},
year = {2025}
}
备注
33 pages, 6 figures, 7 tables