基于双提示优化与交叉融合的个性化联邦学习
机器学习
2025-06-27 v1 计算机视觉与模式识别
摘要
联邦学习(FL)支持跨去中心化客户端的协作模型训练而无需共享本地数据，但受到数据、计算和通信异质性的挑战。预训练视觉语言模型(VLM)凭借其强大的泛化能力和通过提示进行的轻量级微调，提供了一种有前景的解决方案。然而，现有的联邦提示学习方法仅依赖文本提示，且忽略了联合标签-领域分布偏移。在本文中，我们提出了一种基于双提示学习和交叉融合的个性化FL框架，称为pFedDC。具体而言，每个客户端在视觉和语言模态上同时维护全局和局部提示：全局提示捕获跨联邦共享的通用知识，而局部提示编码客户端特定的语义和领域特征。同时，设计了一个交叉融合模块以自适应地整合来自不同层级的提示，使模型能够生成与每个客户端独特数据分布相一致的个性化表示。在具有各种异质性类型的九个数据集上进行的广泛实验表明，pFedDC始终优于SOTA方法。
引用
@article{arxiv.2506.21144,
title = {Personalized Federated Learning via Dual-Prompt Optimization and Cross Fusion},
author = {Yuguang Zhang and Kuangpu Guo and Zhihe Lu and Yunbo Wang and Jian Liang},
journal= {arXiv preprint arXiv:2506.21144},
year = {2025}
}