基于域特定软提示生成的联邦域泛化
计算机视觉与模式识别
2025-09-26 v1
摘要
提示学习已成为适应CLIP到下游任务的高效范式。与传统微调相比，提示学习仅优化少量参数，却能获得极具竞争力的结果，尤其适用于联邦学习以实现计算效率。然而，prompt learning在联邦学习场景中会导致客户端之间出现域漂移，给下游任务适应构成巨大挑战。现有基于提示学习的联邦域泛化(FDG)方法通常从训练样本中学习软提示，用以取代手动设计的提示，从而增强联邦模型的泛化能力。然而，这些学习到的提示具有有限的多样性，倾向于忽略来自未知域的信息。我们提出一种新颖且有效的方法，从生成器视角处理FDG任务，称为联邦域泛化与域特定软提示生成(FedDSPG)。具体而言，在训练期间，我们为每个域引入域特定软提示(DSP)，并在各客户端之间集成内容与域知识于生成模型中。在推理阶段，生成器被用于获取未知目标域的DSP，从而引导未知域中的下游任务。全面评估多个公开数据集表明，我们的方法在FDG任务中超越了现有强大基线，实现了最先进的成绩。
引用
@article{arxiv.2509.20807,
title = {Federated Domain Generalization with Domain-specific Soft Prompts Generation},
author = {Jianhan Wu and Xiaoyang Qu and Zhangcheng Huang and Jianzong Wang},
journal= {arXiv preprint arXiv:2509.20807},
year = {2025}
}
备注
Accepted to the IEEE/CVF International Conference on Computer Vision (ICCV 2025)