必要时澄清：通过与语言模型交互解决歧义
计算与语言
2023-11-17 v1
摘要
通过交互解决歧义是自然语言的标志性特征，而对这种行为进行建模是打造AI助手的核心挑战。在这项工作中，我们研究语言模型（LM）中的此类行为，提出一个任务无关的框架，通过向用户询问澄清性问题来解决歧义。我们的框架将该目标分解为三个子任务：（1）确定何时需要澄清，（2）确定该问什么澄清性问题，以及（3）利用通过澄清收集的新信息准确作答。我们在三个NLP应用上评估系统：问答、机器翻译和自然语言推理。对于第一个子任务，我们提出一种新颖的不确定性估计方法intent-sim，它通过估计用户意图上的熵来确定查询澄清的效用。我们的方法在识别将从澄清中受益的预测方面，始终优于现有的不确定性估计方法。当仅允许对10%的样例请求澄清时，我们的系统相较于随机选取样例进行澄清，能使性能提升翻倍。此外，我们发现intent-sim具有鲁棒性，在广泛的NLP任务和LM中均展现出改进。总之，我们的工作为研究同LM的澄清交互奠定了基础。
引用
@article{arxiv.2311.09469,
title = {Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs},
author = {Michael J. Q. Zhang and Eunsol Choi},
journal= {arXiv preprint arXiv:2311.09469},
year = {2023}
}