鸭嘴兽长什么样?为零样本图像分类生成定制化提示
计算机视觉与模式识别
2023-12-05 v3 机器学习
摘要
开放词汇模型是一种前景广阔的图像分类新范式。与传统分类模型不同,开放词汇模型在推理时对任意以自然语言指定的类别集合进行分类。该自然语言称为"提示(prompts)",通常由一组手写模板(如"a photo of a {}")构成,并以各类别名称补全。本工作引入一种简单方法以生成更高精度提示,既不依赖任务领域的任何显式知识,也远少于手工构建的句子。为此,我们将开放词汇模型与大语言模型(LLMs)结合,以通过语言模型创建定制化提示(CuPL,发音"couple")。具体而言,我们利用LLMs中包含的知识生成许多描述性句子,其中包含图像类别的重要判别特征。这使模型在预测时对这些图像区域赋予更高重要性。我们发现这一直接且通用的办法在一系列零样本图像分类基准上提升精度,包括在ImageNet上超过一个百分点的增益。最后,这一简单基线无需额外训练且完全保持零样本。代码见 https://github.com/sarahpratt/CuPL。
引用
@article{arxiv.2209.03320,
title = {What does a platypus look like? Generating customized prompts for zero-shot image classification},
author = {Sarah Pratt and Ian Covert and Rosanne Liu and Ali Farhadi},
journal= {arXiv preprint arXiv:2209.03320},
year = {2023}
}
备注
ICCV 2023