RAcQUEt：揭示视觉大语言模型中被忽视的指代歧义的危险
计算与语言
2025-09-19 v2
摘要
歧义消解是有效沟通的关键。虽然人类通过对话接地策略轻松处理歧义，但当前语言模型能在多大程度上模仿这些策略仍不清楚。在本工作中，我们通过引入RACQUET（一个精心策划的、针对歧义不同方面的数据集）来研究基于图像的问答中的指代歧义。通过一系列评估，我们揭示了最先进的大型多模态语言模型在处理其回答中的歧义时存在显著局限性和过度自信问题。过度自信问题在RACQUET-BIAS子集上变得尤为突出，该子集旨在分析一个关键但尚未充分探索的问题：未能解决歧义会导致刻板的、带有社会偏见的回答。我们的结果强调了为模型配备稳健策略以应对不确定性、避免诉诸不良刻板印象的紧迫性。
引用
@article{arxiv.2412.13835,
title = {RAcQUEt: Unveiling the Dangers of Overlooked Referential Ambiguity in Visual LLMs},
author = {Alberto Testoni and Barbara Plank and Raquel Fernández},
journal= {arXiv preprint arXiv:2412.13835},
year = {2025}
}
备注
Accepted to EMNLP 2025 (Main Conference)