从博弈论视角诊断视觉语言模型的组合知识
计算机视觉与模式识别
2024-05-28 v1
摘要
组合推理能力通常被视为刻画人类感知能力的基本技能。近期研究表明，当前视觉语言模型 (VLM) 在此类能力方面缺乏足够的知识。为此，我们提出系统性地诊断VLM编码的组合表示方法，从 novel 博弈论视角评估VLM在组合理解不同方面的脆弱性，例如关系和属性。大量实验结果证明并验证了若干理解VLM在组合推理方面能力不足的洞见，这些洞见为未来研究提供了有用且可靠的指导。该项目的交付物将在 https://vlms-compositionality-gametheory.github.io/ 上更新。
引用
@article{arxiv.2405.17201,
title = {Diagnosing the Compositional Knowledge of Vision Language Models from a Game-Theoretic View},
author = {Jin Wang and Shichao Dong and Yapeng Zhu and Kelu Yao and Weidong Zhao and Chao Li and Ping Luo},
journal= {arXiv preprint arXiv:2405.17201},
year = {2024}
}
备注
21 pages, 8 figures