FedDEAP：用于多域联邦学习的自适应双提示调谐
计算机视觉与模式识别
2025-10-22 v1
摘要
联邦学习 (FL) 使多个客户端能够在不暴露本地数据的情况下协作训练机器学习模型，平衡性能和隐私。 然而，跨客户端的域迁移和标签异构性常常阻碍聚合全局模型的泛化。 最近，大规模视觉-语言模型如 CLIP 显示出强大的零样本分类能力，引发了如何在联邦设置下有效微调 CLIP 以跨域的疑问。 本文提出一种自适应联邦提示调谋框架 FedDEAP，以增强 CLIP 在多域场景中的泛化。 我们的方法包括以下三个关键组件：(1) 为了减轻标签监督调谋导致的域特定信息丢失，我们通过使用带有无偏映射的语义和域转换网络来分离图像中的语义和域特定特征；(2) 为了在全局提示聚合期间保留域特定知识，我们引入双提示设计，包含全局语义提示和局部域提示，以平衡共享和个人化信息；(3) 为了最大化来自图像中语义和域信息在生成文本特征中的包含性，我们在两个学习到的转换下对文本和视觉表示进行对齐，以保留语义和域一致性。 理论分析和在四个数据集上的大量实验表明，我们的方法在增强 CLIP 用于跨多个域的联邦图像识别泛化方面具有有效性。
引用
@article{arxiv.2510.18837,
title = {FedDEAP: Adaptive Dual-Prompt Tuning for Multi-Domain Federated Learning},
author = {Yubin Zheng and Pak-Hei Yeung and Jing Xia and Tianjie Ju and Peng Tang and Weidong Qiu and Jagath C. Rajapakse},
journal= {arXiv preprint arXiv:2510.18837},
year = {2025}
}
备注
Accepted at MM 2025