当选择成为先验：科学图表多选问答的对比解码
人工智能
2026-03-31 v1
摘要
科学图表多选问答(MCQA)需要模型在图表、多面板图、显微图和医学图像等多样化视觉证据上进行推理。然而，该设置存在一种独特偏见：答案选项本身可充当先验，导致多模态模型倾向于选择在文本上看起来科学合理的选项，即使图表支持其他答案。我们通过一个简单问题探讨这一失效模式：如果解码显式地抵消模型从文本中偏好的部分，以便更依赖图表证据，该如何操作？为此，我们提出SCICON—a种训练自由的解码方法，通过从其图像条件化后的得分中减去文本-only选项得分来评分每个候选答案。与先前通过对原始输入与扰动图像或扰动指令进行对比以缓解幻觉的对比解码方法不同，SCICON直接针对候选文本中编码的选择诱导先验。在三个科学图表QA基准和三个模型骨架上，SCICON consistently improve accuracy over standard decoding baselines.这些结果表明，对选择诱导先验的解码是提高科学MCQA中图表依赖推理的有效且简单的方法。
引用
@article{arxiv.2603.28026,
title = {When Choices Become Priors: Contrastive Decoding for Scientific Figure Multiple-Choice QA},
author = {Taeyun Roh and Eun-yeong Jo and Wonjune Jang and Jaewoo Kang},
journal= {arXiv preprint arXiv:2603.28026},
year = {2026}
}