Scifaro

中文

语言先验在度量视觉-语言模型组合泛化中的作用

计算与语言 2023-10-05 v1

作者: Chenwei Wu , Li Erran Li , Stefano Ermon , Patrick Haffner , Rong Ge , Zaiwei Zhang

在 arXiv 上查看 ↗ PDF ↗

摘要

组合性在自然语言和图像等多种模态中是常见属性，但多模态模型的组合泛化尚未被充分理解。本文中，我们识别出视觉-语言组合性的两个来源：语言先验以及图像与文本之间的相互作用。我们表明，当前改进组合泛化的尝试依赖于语言先验而非图像中的信息。我们还提出了一种无此类语言先验的组合性新度量指标。

关键词

组合泛化视觉-语言模型语言先验评估指标多模态模型

引用

@article{arxiv.2310.02777,
  title  = {The Role of Linguistic Priors in Measuring Compositional Generalization of Vision-Language Models},
  author = {Chenwei Wu and Li Erran Li and Stefano Ermon and Patrick Haffner and Rong Ge and Zaiwei Zhang},
  journal= {arXiv preprint arXiv:2310.02777},
  year   = {2023}
}