欺骗LVLM裁判器：LVLM-Based评估中的视觉偏差
计算与语言
2025-11-18 v2 计算机视觉与模式识别
摘要
最近涌现出大型视觉语言模型(LVLM)作为评估文本图像对齐的首选工具,但其在视觉模态上的鲁棒性尚未得到充分探讨。本工作是首次针对关键研究问题展开研究：对抗性视觉操纵能否系统性地蒙蔽LVLM裁判器,使其对被操纵图像给出不公平的提高分数？我们定义了文本到图像评估上下文中的潜在图像诱导偏差,并考察了这些偏差如何影响LVLM裁判器的评估。此外,我们引入了一个新颖的、细粒度的、多领域的元评估基准框架(FRAME),该框架刻意构建以展现多样化的得分分布。通过将定义的偏差引入基准,我们揭示了所有测试过的LVLM裁判器在所有领域都表现出脆弱性,对被操纵的图像 consistently 给出提高的分数。进一步分析表明,组合多个偏差会放大其效果，两两评估也同样脆弱。此外,我们观察到视觉偏差在基于提示的缓解策略下仍然存在,这凸显了当前LVLM评估系统的脆弱性,并强调了需要更鲁棒的LVLM裁判器的紧迫性。
引用
@article{arxiv.2505.15249,
title = {Fooling the LVLM Judges: Visual Biases in LVLM-Based Evaluation},
author = {Yerin Hwang and Dongryeol Lee and Kyungmin Min and Taegwan Kang and Yong-il Kim and Kyomin Jung},
journal= {arXiv preprint arXiv:2505.15249},
year = {2025}
}
备注
EMNLP 2025 Main (21pgs, 12 Tables, 9 Figures)