知道却不展示:LLM 识别歧义但很少提出澄清问题
计算与语言
2026-05-26 v1
摘要
用户查询往往不完整,可能容纳多种有效解释。相较于在沉默做出关于用户意图的假设,一位有帮助的助手应通过提出澄清问题来暴露此类歧义。做到这一点需要两个能力:识别查询存在歧义的能力,以及基于这种识别而提出澄清请求而非直接作答的能力。为研究这两个能力,我们在三个情境中评估模型:标准问答、明确歧义判断以及行为分析,其中判官模型将回复分类为直接回答、拒绝或澄清问题。我们发现识别与行为之间存在明显差距:模型在被明确要求判断歧义时常常识别出来,但在问答情境中却几乎默认直接作答。检索的上下文进一步扩大了这一差距,因为它提高了可作答性,却使模型更不可能提出澄清问题。
引用
@article{arxiv.2605.25284,
title = {Knowing but Not Showing: LLMs Recognize Ambiguity but Rarely Ask Clarifying Questions},
author = {Jinyan Su and Claire Cardie},
journal= {arXiv preprint arXiv:2605.25284},
year = {2026}
}