ArGue：面向视觉-语言模型的属性引导提示调优
计算机视觉与模式识别
2024-03-14 v2
摘要
尽管软提示调优能高效适配视觉-语言（V&L）模型用于下游任务，但其在处理分布偏移时存在局限。我们以属性引导提示调优（ArGue）解决该问题，作出三项关键贡献。1）与在类名前直接追加软提示的传统做法不同，我们将模型与大语言模型（LLM）生成的原始视觉属性对齐。我们假定模型对这些属性表达高置信度的能力，标志着其辨别正确类别依据的能力。2）我们引入属性采样以剔除不利属性，从而仅保留语义有意义的属性。3）我们提出负提示，显式枚举与类别无关的属性以激活虚假关联，并促使模型针对这些负特征生成高度正交的概率分布。实验中，我们的方法在新型类别预测与分布外泛化任务上均显著优于当前最先进的提示调优方法。
引用
@article{arxiv.2311.16494,
title = {ArGue: Attribute-Guided Prompt Tuning for Vision-Language Models},
author = {Xinyu Tian and Shu Zou and Zhaoyuan Yang and Jing Zhang},
journal= {arXiv preprint arXiv:2311.16494},
year = {2024}
}
备注
Accepted to CVPR2024