基于对比特征重构的渐进式视觉提示学习
计算机视觉与模式识别
2024-08-06 v3
摘要
提示学习被设计为微调的替代方案，用于将视觉-语言（V-L）模型适配到下游任务。先前工作主要关注文本提示，而面向 V-L 模型的视觉提示工作有限。现有视觉提示方法要么性能平庸，要么训练过程不稳定，表明视觉提示学习的困难。本文提出一种新的渐进式视觉提示（ProVP）结构，以加强不同层提示之间的交互。更重要的是，我们的 ProVP 能有效将图像嵌入传播至深层，并表现出部分类似于实例自适应提示方法的行为。为缓解泛化退化，我们进一步提出一种新的对比特征重构，防止被提示的视觉特征偏离固定的 CLIP 视觉特征分布。结合两者，我们的方法（ProVP-Ref）在 11 个图像基准数据集上评估，并在少样本和基到新设定下取得 11 个中的 7 个 SOTA 结果。据我们所知，我们首个展示了 V-L 模型中视觉提示相对于先前基于提示的方法在下游任务中的优越性能。同时，这意味着我们的 ProVP-Ref 展现出最佳的适配与泛化能力。
引用
@article{arxiv.2304.08386,
title = {Progressive Visual Prompt Learning with Contrastive Feature Re-formation},
author = {Chen Xu and Yuhan Zhu and Haocheng Shen and Boheng Chen and Yixuan Liao and Xiaoxin Chen and Limin Wang},
journal= {arXiv preprint arXiv:2304.08386},
year = {2024}
}
备注
IJCV 2024 Accepted