缓解多选问答中的易选项偏差
计算机视觉与模式识别
2025-08-20 v1 人工智能
多媒体
摘要
在本早期研究中，我们观察到 Easy-Options Bias（EOB）在一些多选式视觉问答基准测试中存在，如 MMStar、RealWorldQA、SEED-Bench、Next-QA、STAR benchmark 和 Video-MME。这种偏差使得视觉语言模型（VLMs）能够仅通过视觉（V）和选项（O）作为输入即可选择正确答案，而无需问题（Q）。通过 grounding 实验，我们将该偏差归因于视觉相关性的不平衡：正确答案在特征空间中通常与视觉内容更紧密地对齐，而负面选项则不然，这为 VLMs 提供了通过简单视觉-选项相似度匹配来推断答案的捷径。为修复此问题，我们引入了 GroundAttack，一个自动生成与正确答案在视觉上同样合理的硬负面选项的工具。我们将其应用于 NExT-QA 和 MMStar 数据集，创建了新的 EOB-free 标注。在这些 EOB-free 标注上，当前 VLMs 在 (V+O) 设置下接近随机准确率，而在 (V+Q+O) 设置下准确率下降至非饱和水平，这提供了更真实地评估 VLMs 问答能力的机会。代码和新的标注将很快发布。
引用
@article{arxiv.2508.13428,
title = {Mitigating Easy Option Bias in Multiple-Choice Question Answering},
author = {Hao Zhang and Chen Li and Basura Fernando},
journal= {arXiv preprint arXiv:2508.13428},
year = {2025}
}
备注
Under review