训练空间-频率视觉提示与概率聚类以实现精确黑盒迁移学习

尽管预测 API 服务等黑盒预训练模型（PTMs）日益普及，但由于数据分布差异，将通用模型直接应用于现实场景仍面临重大挑战。考虑到数据匮乏与计算资源受限的场景，本文提出了一种新颖的参数高效迁移学习框架，适用于黑盒设置下的视觉识别模型。本框架包含两种新颖的训练技术。首先，通过生成空间域与频率域的视觉提示，将 PTMs 的输入空间（即图像）对齐至目标数据分布。结合新颖的空频混合视觉提示器，本文设计了一种基于概率聚类的新型训练技术，可增强输出空间（即预测概率）中的类别分离性。实验结果表明，本模型在广泛视觉识别数据集上的少样本迁移学习设置中表现出优越性能，超越了现有最先进基线。此外，本文展示了所提方法能高效降低训练与推理阶段的计算成本。