指代模糊与澄清请求：人类与大语言模型行为的比较
计算与语言
2025-07-15 v1 人工智能
摘要
本文考察大语言模型在遵循异步指令-跟随者格式的任务导向对话中提出澄清问题的能力。我们构建了一个新的语料库，将 Minecraft 对话语料库中关于指代与歧义的两种现有标注整合为统一格式，为实验澄清及其与歧义的关系提供必要信息。通过该语料库，我们比较了大语言模型行为与人类生成的澄清问题，分析人类与大语言模型在歧义情境下的应对方式。我们发现，人类生成澄清问题与歧义之间只有弱关联，人类与大语言模型之间的相关性也很低。人类几乎不会为指代歧义提出澄清问题，但常为任务不确定性提出。相反，大语言模型更倾向于为指代歧义提出澄清问题，但对任务不确定性的响应较弱。我们质疑大语言模型提出澄清问题是否依赖于其近期模拟推理的能力，并通过不同推理方法进行测试，发现推理确实会增加提问频率和相关性。
引用
@article{arxiv.2507.10445,
title = {Referential ambiguity and clarification requests: comparing human and LLM behaviour},
author = {Chris Madge and Matthew Purver and Massimo Poesio},
journal= {arXiv preprint arXiv:2507.10445},
year = {2025}
}