基于提示学习与聚合的联邦域泛化

联邦域泛化（FedDG）旨在通过在隐私保护约束下解决数据异质性，提升全局模型在未见域上的泛化能力。现有FedDG研究的常见策略是让客户端共享特定领域知识，如频谱信息、类原型和数据风格。然而这些知识直接从客户端本地样本提取，共享此类敏感信息存在潜在数据泄露风险，可能无法完全满足FedDG要求。本文引入提示学习以在FedDG场景下适配预训练视觉-语言模型（VLM），并利用本地学习的提示作为更安全的桥梁促进客户端间知识迁移。具体而言，我们提出一种通过提示学习与聚合的新型FedDG框架（PLAN），包含两个训练阶段，在每个联邦轮次协作生成本地提示和全局提示。首先，每个客户端利用自身数据进行文本和视觉提示学习，通过将全局提示视为共同参考间接同步本地提示。其次，所有领域特定的本地提示在客户端间交换，并通过轻量级基于注意力的聚合器选择性聚合为全局提示。最终将全局提示应用于适配VLM至未见目标域。由于PLAN框架仅需训练有限数量的提示和轻量级聚合器，在FedDG中具有显著的计算与通信效率优势。大量实验证明PLAN在四个基准数据集上具有卓越的泛化能力。