中文

在恰当时机提出恰当问题:人类与模型不确定性引导的澄清问题生成

计算与语言 2024-02-12 v1 人工智能

摘要

澄清问题是表达语言使用中误解、歧义和欠规格的重要对话工具。虽然人类从童年起就能通过提问来解决不确定性,但现代对话系统却难以生成有效的问题。为了在这一方向上取得进展,在本工作中,我们将协作对话任务作为试验台,研究模型不确定性与人类不确定性之间的关系——这是一个迄今为止尚未充分探索的问题。我们表明,模型不确定性并不反映人类寻求澄清的行为,这表明将人类澄清问题作为决定何时提问的监督信号,可能不是解决模型不确定性的最有效方法。为了解决这个问题,我们提出了一种基于模型不确定性估计的澄清问题生成方法,将其与几种替代方案进行比较,并表明它在任务成功率方面带来了显著改善。我们的发现强调了为对话系统配备评估自身不确定性并在交互中加以利用的能力的重要性。

关键词

引用

@article{arxiv.2402.06509,
  title  = {Asking the Right Question at the Right Time: Human and Model Uncertainty Guidance to Ask Clarification Questions},
  author = {Alberto Testoni and Raquel Fernández},
  journal= {arXiv preprint arXiv:2402.06509},
  year   = {2024}
}

备注

Accepted at EACL 2024