联邦提示学习中泛化与个性化的协调
机器学习
2024-09-04 v2
摘要
联邦提示学习（FPL）通过提示调优将大型预训练视觉-语言模型（VLM）融入联邦学习。VLM的可迁移表示和卓越泛化能力使其与联邦学习的集成高度兼容。解决联邦学习中的数据异构性需要个性化，但过度关注客户端个性化可能会损害模型的泛化能力。为了保持VLM的出色泛化能力，在FPL中平衡个性化和泛化至关重要。为此，我们提出了FedPGP，它利用预训练的CLIP为全局提示提供知识引导以改善泛化，并引入低秩自适应项来个性化全局提示。此外，FedPGP集成了提示级对比损失，同时实现知识引导和个性化自适应，从而在FPL中实现个性化和泛化的和谐平衡。我们在各种数据集上进行了广泛实验，探索了在类别级和领域级异构数据场景下的基础到新颖泛化，显示了FedPGP在平衡泛化和个性化方面的优越性。
引用
@article{arxiv.2405.09771,
title = {Harmonizing Generalization and Personalization in Federated Prompt Learning},
author = {Tianyu Cui and Hongxia Li and Jingya Wang and Ye Shi},
journal= {arXiv preprint arXiv:2405.09771},
year = {2024}
}