DiPrompT：联邦学习中面向多隐式领域泛化的解耦提示微调
机器学习
2024-03-14 v1 人工智能
计算机视觉与模式识别
摘要
联邦学习已成为从分散数据中学习的强大范式，而联邦领域泛化进一步考虑测试数据集（目标领域）不在分散训练数据（源领域）中的情况。然而，大多数现有联邦学习方法假设训练期间提供领域标签，且其评估对领域数量施加了显式约束，要求领域数量必须严格匹配客户端数量。由于现实世界中大量边缘设备未被充分利用以及额外的跨客户端领域标注，此类限制可能不切实际并涉及潜在隐私泄露。本文提出一种高效且新颖的方法，称为解耦提示微调，通过以分布式方式学习自适应提示来解决上述限制，实现领域泛化。具体而言，我们首先设计两类提示：全局提示用于捕获所有客户端间的通用知识，领域提示用于捕获领域特定知识。它们消除了源领域与本地客户端之间一一映射的限制。此外，引入动态查询度量来自动搜索每个样本的合适领域标签，该度量包含基于提示微调的两步图文对齐，无需劳动密集型标注。在多个数据集上的大量实验表明，当不提供领域标签时，我们的DiPrompT取得了优于最先进联邦学习方法的领域泛化性能，甚至超越了许多使用领域标签的中心化学习方法。
引用
@article{arxiv.2403.08506,
title = {DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain Generalization in Federated Learning},
author = {Sikai Bai and Jie Zhang and Shuaicheng Li and Song Guo and Jingcai Guo and Jun Hou and Tao Han and Xiaocheng Lu},
journal= {arXiv preprint arXiv:2403.08506},
year = {2024}
}