学习组合软提示以实现组合式零样本学习
机器学习
2023-04-25 v3 计算与语言
计算机视觉与模式识别
摘要
我们引入了组合式软提示(CSP)，这是一种参数高效的学习技术，旨在提高大规模预训练视觉-语言模型(VLM)（如CLIP）的零样本组合能力。我们针对组合式零样本学习开发了CSP，该任务旨在预测未见过的属性-对象组合（例如，老猫和幼虎）。VLM具有灵活的文本编码器，可以将任意类别表示为自然语言提示，但在组合式零样本基准数据集上，它们的表现通常不如任务特定的架构。CSP将定义类别的属性和对象视为可学习的词汇标记。在训练过程中，词汇表被调整以识别以多种方式组合标记的类别（例如，老猫和白猫）。在测试时，我们将学习到的属性-对象词汇表重新组合成新的组合，以识别新类别。我们表明，CSP在基准数据集上的AUC平均比CLIP高出10.9个百分点。CSP在AUC上平均也比CoOp（一种微调前缀上下文标记的软提示方法）高出5.8个百分点。我们进行了额外的实验，以表明CSP提高了对高阶属性-属性-对象组合（例如，老白猫）以及预训练属性与微调对象组合的泛化能力。代码可在https://github.com/BatsResearch/csp获取。
引用
@article{arxiv.2204.03574,
title = {Learning to Compose Soft Prompts for Compositional Zero-Shot Learning},
author = {Nihal V. Nayak and Peilin Yu and Stephen H. Bach},
journal= {arXiv preprint arXiv:2204.03574},
year = {2023}
}
备注
ICLR 2023