基于预训练流形的CLIP提示微调
计算机视觉与模式识别
2026-02-24 v1
摘要
提示微调引入了可学习的提示向量，以参数高效的方式使预训练的视觉-语言模型适应下游任务。然而，在有限监督下，提示微调会改变预训练表示，并将下游特征从预训练流形推向不利于迁移的方向。这种漂移会损害泛化能力。为解决这一局限性，我们提出了ManiPT，一个在预训练流形上进行提示微调的框架。ManiPT在文本和图像模态中引入了余弦一致性约束，将学习到的表示限制在预训练几何邻域内。此外，我们引入了一种结构偏差，强制进行增量修正，引导适应沿着可迁移方向进行，以减轻对捷径学习的依赖。从理论角度看，ManiPT缓解了有限数据下的过拟合倾向。我们的实验涵盖了四种下游设置：未见类别泛化、少样本分类、跨数据集迁移和领域泛化。在这些设置中，ManiPT实现了比基线方法更高的平均性能。值得注意的是，ManiPT提供了一个关于提示微调如何在有限监督下过拟合的明确视角。
引用
@article{arxiv.2602.19198,
title = {Prompt Tuning for CLIP on the Pretrained Manifold},
author = {Xi Yang and Yuanrong Xu and Weigang Zhang and Guangming Lu and David Zhang and Jie Wen},
journal= {arXiv preprint arXiv:2602.19198},
year = {2026}
}