释放提示微调潜力以桥接广义与个性化联邦学习
机器学习
2024-02-27 v4 计算机视觉与模式识别
摘要
Vision Transformers (ViT) 与 Visual Prompt Tuning (VPT) 在各种计算机视觉任务中以更高的效率取得了最先进的性能。这暗示了一个有前景的范式转变，即将预训练的 ViT 模型适配到联邦学习 (FL) 场景中。然而，FL 客户端之间的数据异构性挑战对 ViT 模型的有效部署构成了重大障碍。现有的广义联邦学习 (GFL) 与个性化联邦学习 (PFL) 方法在平衡全局与局部数据分布上的性能方面存在局限。本文提出一种新颖算法 SGPT，通过采用共享提示与组特定提示的独特组合来整合 GFL 与 PFL 方法。该设计使 SGPT 能够捕获共同特征与组特定特征。SGPT 的一个关键特性是其提示选择模块，该模块有助于训练单个全局模型，能够自动适配多样的本地客户端数据分布，而无需本地微调。为有效训练提示，我们利用块坐标下降 (BCD)，先从共同特征信息（共享提示）学习，再迭代地学习更专门的知识（组提示）。理论上，我们证明学习所提出的提示能够缩小全局与局部性能之间的差距。在经验上，我们在标签与特征异构设置下与最先进的基线方法进行对比实验，并辅以大量消融研究，以证实 SGPT 的优越性能。
引用
@article{arxiv.2310.18285,
title = {Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning},
author = {Wenlong Deng and Christos Thrampoulidis and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2310.18285},
year = {2024}
}