视觉语言模型中的思维链提示微调
计算机视觉与模式识别
2023-06-21 v2 人工智能
摘要
语言-图像预训练通过以自然语言提示视觉模型，已在零样本与少样本下游任务上展示出有前景的结果。然而，近期多数研究仅使用单一提示进行微调，忽视了人类在复杂任务设定（例如处理来自陌生领域的图像时）所进行的逐步认知推理过程。思维链是对人类推理过程的简单而有效的近似，并已被证明对自然语言处理（NLP）任务有用。基于这一认知直觉，我们认为进行有效推理在视觉任务中也是重要问题，而思维链可为此问题的一种解决方案。本工作中，我们提出一种新颖的视觉-语言建模思维链提示微调。大量实验表明，我们的方法不仅在图像分类任务上泛化更好、在单一数据集外具更强可迁移性、具更强的域泛化性能，而且在需要更多推理能力的图文检索与视觉问答上也表现更佳。我们首次成功适配了结合视觉与文本嵌入的思维链提示。我们将发布代码。
引用
@article{arxiv.2304.07919,
title = {Chain of Thought Prompt Tuning in Vision Language Models},
author = {Jiaxin Ge and Hongyin Luo and Siyuan Qian and Yulu Gan and Jie Fu and Shanghang Zhang},
journal= {arXiv preprint arXiv:2304.07919},
year = {2023}
}