Craft：跨模态对齐特征提升提示调优鲁棒性

提示调优已成为一种流行的研究范式，用于适应视觉语言模型以应对各种下游任务。然而，近期研究表明，提示调优方法常因训练样本有限而导致过拟合。本文提出了一种跨模态对齐特征调优（Craft）方法，以解决此问题。通过从替代领域选择锚点并推导所选锚点的嵌入相对表示来实现跨模态对齐。针对锚点对齐的文本和图像模态优化特征对齐损失，可创建更统一的文本-图像公共空间。提示调优的过拟合也会损害模型在分布外样本上的性能。为进一步提高提示模型的鲁棒性，本文提出通过对锚点对齐特征空间最小化最大均值差异（MMD）以缓解领域迁移。在四种不同的提示调优结构上进行的实验持续显示本方法的改进效果，在Base-to-Novel通用性任务中提升最高可达$6.1\%$，在群体鲁棒性任务中提升可达$5.8\%$，在分布外任务中提升可达$2.7\%$。代码将在https://github.com/Jingchensun/Craft公开提供。