在开放域问答中通过提问澄清性问题处理歧义
计算与语言
2023-10-26 v2
摘要
歧义问题在开放域问答中持续存在，因为表述一个具有唯一答案的精确问题往往具有挑战性。此前，Min等人（2020）通过为歧义问题的所有可能解释生成消歧问题来解决该问题。这虽有效，但对于向用户提供答案而言并非理想。相反，我们提出提问一个澄清性问题，用户的回复将有助于识别最符合用户意图的解释。我们首先提出CAMBIGNQ，一个包含5,654个歧义问题的数据集，每个问题配有相关段落、可能答案和澄清性问题。澄清性问题通过使用InstructGPT生成并在必要时人工修订得以高效创建。随后我们定义了一系列任务流程并设计了恰当的评估指标。最后，我们在歧义检测上取得61.3 F1、在基于澄清的问答上取得40.5 F1，为未来工作提供了强基线。
引用
@article{arxiv.2305.13808,
title = {Asking Clarification Questions to Handle Ambiguity in Open-Domain QA},
author = {Dongryeol Lee and Segwang Kim and Minwoo Lee and Hwanhee Lee and Joonsuk Park and Sang-Woo Lee and Kyomin Jung},
journal= {arXiv preprint arXiv:2305.13808},
year = {2023}
}
备注
15 pages, 4 figures, accepted to EMNLP 2023 Findings