FLIP：面向联邦提示学习的全面可靠评估

日益强调隐私和数据安全，推动了联邦学习（federated learning）的采用，这是一种无需共享原始数据即可训练机器学习模型的去中心化方法。提示学习（prompt learning）通过微调预训练模型的提示嵌入，提供了在联邦设置中显著优势：它降低了计算成本和通信开销，同时利用视觉语言模型如CLIP的强大性能和泛化能力。本文聚焦于联邦学习与提示学习的交叉领域，尤其是针对视觉语言模型。在本工作中，我们引入一个全面的框架，命名为FLIP，用于评估联邦提示学习算法。FLIP在4种联邦学习协议和12个开放数据集上，评估了8种最先进的联邦提示学习方法，考虑6种不同的评估场景。我们的发现表明，提示学习在旁近分布和远离分布的设置中均保持强大的泛化性能，同时资源消耗极低。这一工作凸显了联邦提示学习在数据稀缺、未见类别和跨域分布迁移环境中的有效性。我们开源了FLIP中实现的所有算法代码，以便进一步研究。