FedMGP：基于多组文本-视觉提示的个性化联邦学习
计算机视觉与模式识别
2025-11-04 v1 机器学习
摘要
本文提出FedMGP，一种新的面向视觉语言模型的个性化联邦提示学习范式。FedMGP为每个客户端提供多个组的配对文本和视觉提示，使模型能够捕获多样化的、细粒度的语义和实例级线索。引入多样性损失，以驱动每个提示组专注于不同且互补的语义方面，确保各组整体覆盖更广的本地特征。在通信过程中，FedMGP采用基于相似度引导的概率抽样动态提示聚合策略：每个客户端计算其提示组与上一轮全局提示之间的余弦相似度，然后通过 softmax 加权分布抽样 s 个组。这种软选择机制优先聚合语义对齐的知识，同时仍能有效探索 underrepresented 模式，平衡常见知识的保留与客户端特定特征。在保持参数效率的同时，FedMGP通过在多个组之间重新分配固定的提示容量，实现了在所有联邦提示学习方法中具有最低通信参数和最佳性能。理论分析表明，动态聚合策略通过强化共享语义并抑制客户端特定噪声，促进了稳健的全局表示学习。大量实验表明，FedMGP在多样化的联邦视觉语言基准测试中，在个人化和领域泛化方面 consistently 优于先前方法。代码将发布在 https://github.com/weihao-bo/FedMGP.git。
引用
@article{arxiv.2511.00480,
title = {FedMGP: Personalized Federated Learning with Multi-Group Text-Visual Prompts},
author = {Weihao Bo and Yanpeng Sun and Yu Wang and Xinyu Zhang and Zechao Li},
journal= {arXiv preprint arXiv:2511.00480},
year = {2025}
}