理解预训练视觉-语言模型的多模态提示
摘要
提示学习已成为对CLIP等基础模型进行微调以适配各种下游任务的高效替代方案。然而，目前尚无工作对多模态提示的工作机制提供全面的解释。在本文中，我们通过提出以下问题对多模态提示进行了直接分析： 学习到的多模态提示如何提升识别性能？ 多模态提示学习了什么？为回答这些问题，我们首先分离出提示在每一层以两种不同方式影响自注意力计算的公式部分，即 引入提示嵌入使 token 聚焦于前景目标； 提示在 token 嵌入更新过程中学习到一个偏置项，使模型能够适应目标领域。随后，我们在11个多样的下游识别数据集上进行了广泛的可视化与统计实验。从实验中我们揭示，学习到的提示主要通过第二种方式提升性能，其作为数据集偏置提升了预训练模型在相应数据集上的识别性能。同时，我们提出了偏置调优方法来验证我们的发现。通过对多模态提示的深入理解，我们希望本文能激发该方向新颖且扎实的研究。
引用
@article{arxiv.2312.11570,
title = {Understanding the Multi-modal Prompts of the Pre-trained Vision-Language Model},
author = {Shuailei Ma and Chen-Wei Xie and Ying Wei and Siyang Sun and Jiaqi Fan and Xiaoyi Bao and Yuxin Guo and Yun Zheng},
journal= {arXiv preprint arXiv:2312.11570},
year = {2024}
}
备注
We find that the statistical information in Figure 2 neglect the statistics for tSOS, so we make corrections. Additionally, we change the statistical samples to those where CLIP misidentify, but prompt tuning identify correctly. At the same time, we also revise some of the descriptions. The changes to the supplementary materials will be updated shortly. arXiv admin note: text overlap with arXiv:2307.06948 by other authors