面向基础模型的双提示个人化联邦学习（DP2FL）
分布式、并行与集群计算
2025-04-24 v1 人工智能
机器学习
摘要
个人化联邦学习（PFL）因能够解决客户端数据分布异构问题且保持数据隐私而引起广泛关注。然而，当本地客户端数据有限时，深度学习模型常因训练不足而表现次佳。基础模型如 CLIP（Contrastive Language-Image Pretraining）具有强大的特征提取能力，可通过在有限的本地数据上进行微调来缓解这一问题。尽管基础模型具有巨大的潜力，但在联邦学习场景中仍鲜有被采用，且与集成新客户端相关的挑战尚未得到充分解决。为此，我们提出了双提示个人化联邦学习（DP2FL）框架，引入双提示机制和自适应聚合策略。DP2FL 结合全局任务意识与本地数据驱动的见解，使本地模型能够实现有效的泛化，同时保持对特定数据分布的适应性。此外，DP2FL 引入全局模型，使其能够对新数据源进行预测，并能无需重新训练地无缝集成新添加的客户端。在高度异构环境下的实验结果验证了DP2FL 提示设计和聚合策略的有效性，凸显了对新数据源预测的优势，并展示了将新客户端无缝集成到联邦学习框架中的能力。
引用
@article{arxiv.2504.16357,
title = {DP2FL: Dual Prompt Personalized Federated Learning in Foundation Models},
author = {Ying Chang and Xiaohu Shi and Xiaohui Zhao and Zhaohuang Chen and Deyin Ma},
journal= {arXiv preprint arXiv:2504.16357},
year = {2025}
}