面向多领域协作学习的联邦自适应提示微调
机器学习
2024-03-13 v4 计算机视觉与模式识别
摘要
联邦学习（FL）使多个客户端能够在不泄露数据的情况下协作训练全局模型。以往研究通常要求训练完整的模型参数。然而，强大预训练模型的出现使得在 FL 中以更少可学习参数实现更高性能成为可能。本文中，我们提出一种联邦自适应提示微调算法 FedAPT，用于基于强大基础模型（如 CLIP）的多领域协作图像分类。与直接联邦提示微调相比，我们的核心思想是为每个测试样本自适应地解锁特定领域知识，从而为其提供个性化提示。为实现该思路，我们设计了一个自适应提示微调模块，由元提示、自适应网络和一些密钥组成。服务器随机生成一组密钥并为每个客户端分配唯一密钥。随后所有客户端利用本地数据集和冻结的密钥协作训练全局自适应网络和元提示。最终，全局聚合模型可基于每个测试样本的领域特征为 CLIP 分配个性化提示。我们在两个多领域图像分类数据集上进行了广泛实验，涵盖监督与无监督两种设置。结果表明，FedAPT 能以少于全训练模型 10% 的参数取得更优性能，且全局模型可同时在多样化客户端领域中表现良好。源代码见 \url{https://github.com/leondada/FedAPT}。
引用
@article{arxiv.2211.07864,
title = {Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning},
author = {Shangchao Su and Mingzhao Yang and Bin Li and Xiangyang Xue},
journal= {arXiv preprint arXiv:2211.07864},
year = {2024}
}