逃离虚假关联深渊：大型视觉语言模型能否在看不见的虚假关联上实现泛化？
计算机视觉与模式识别
2025-06-24 v1 机器学习
摘要
微调可能会导致非关键特征与目标标签之间出现虚假关联，但用于研究这些效果的基准涉及人为设置的狭窄任务。相反，我们考虑在无显式任务监督下预训练于广泛数据集上的多模态大型视觉语言模型 (LVLMs) 上的虚假关联。我们开发了一个基准，通过来源于 GPT-4o 在真实世界视觉问题解答 (VQA) 基准中的错误，然后通过 LVLM-人类标注和合成对抗评估来筛选，以识别由虚假关联导致的错误。该过程产生了 SpuriVerse，一个包含 124 种不同类型虚假关联的新型基准，从真实数据集中提取，每种虚假关联包含 1 个真实和 10 个合成 VQA 样本，总计 1364 个多选题。我们对 15 个开源和闭源 LVLMs 在 SpuriVerse 上进行评估，发现即使是最先进的闭源模型也表现严重，最多仅达到 37.1% 的准确率。在强调虚假关联的合成示例上进行微调可将性能提升至 78.40%，表明在多样化的虚假模式训练可泛化到看不见的情况：模型似乎学习了避免“捷径”并关注整体图像上下文的能力。
引用
@article{arxiv.2506.18322,
title = {Escaping the SpuriVerse: Can Large Vision-Language Models Generalize Beyond Seen Spurious Correlations?},
author = {Yiwei Yang and Chung Peng Lee and Shangbin Feng and Dora Zhao and Bingbing Wen and Anthony Z. Liu and Yulia Tsvetkov and Bill Howe},
journal= {arXiv preprint arXiv:2506.18322},
year = {2025}
}