弱分布检测器带来更强的视觉-语言提示调优泛化能力
计算机视觉与模式识别
2024-04-02 v1
摘要
我们提出了一种通用方法，用于在下游少样本任务微调时提升预训练视觉-语言模型（VLMs）的泛化能力。该想法通过利用分布外（OOD）检测来预测样本属于基础分布还是新分布，然后使用由专用基于竞争的评分函数生成的分数来融合零样本和少样本分类器得以实现。融合后的分类器是动态的，如果样本更可能来自预训练分布，它将偏向零样本分类器，从而提升从基础到新类的泛化能力。我们的方法仅在测试阶段执行，适用于在无需耗时重训练的情况下提升现有方法。大量实验表明，即使是弱分布检测器也能提升 VLMs 的泛化能力。具体而言，在 OOD 检测器的帮助下，在从基础到新类的设定下，CoOp 和 ProGrad 在 11 个识别数据集上的调和平均值分别提升了 2.6 和 1.5 个百分点。
引用
@article{arxiv.2404.00603,
title = {Weak Distribution Detectors Lead to Stronger Generalizability of Vision-Language Prompt Tuning},
author = {Kun Ding and Haojian Zhang and Qiang Yu and Ying Wang and Shiming Xiang and Chunhong Pan},
journal= {arXiv preprint arXiv:2404.00603},
year = {2024}
}
备注
Accepted by AAAI2024