基于非独立分布与不平衡数据的概率性联邦提示微调

对预训练模型进行微调是解决数据有限的情况下复杂任务的流行方法。然而，在数据分布高度偏斜的联邦场景下，对整个预训练模型进行微调效果不佳。为此，我们探索将联邦学习与更有效的提示微调方法相结合，优化输入前缀的少数集合，以重编程预训练模型的行为。我们的 approach 将联邦学习转化为分布式集合建模任务，聚合多样化的提示集合，对预训练模型进行全局微调。我们对各种基于直接采用现有联邦模型聚合技术的基线方法进行基准测试，提出一种新的概率性提示聚合方法，显著优于这些基线方法。在多组计算机视觉数据集上的实验结果表明，所提方法在联邦学习中有效应对极端数据异构性。