哪位语言学家发明了灯泡？面向问答的预设验证

许多问答（QA）数据集包含无法回答的问题，但 QA 系统对它们的处理仍然很原始。我们对 Natural Questions（Kwiatkowski 等人，2019）数据集的分析显示，相当一部分无法回答的问题（$\sim$21%）可基于不可验证预设的存在来解释。我们讨论了当前模型在处理此类问题时的不足，并描述了改进系统应如何处理它们。通过用户偏好研究，我们证明了我们所提系统基于预设失败提供响应的理想行为优于现有 QA 系统的理想行为。随后我们讨论了如何实施所提系统，提出了一种将问题分解为三个步骤的新框架：预设生成、预设验证与解释生成。我们报告了在每个子问题上的进展，并给出了将这些步骤集成到现有 QA 系统中的初步方法。我们发现，向现有模型添加预设及其可验证性可在下游性能与不可回答性检测上带来适度提升。最大的瓶颈是验证组件，即便从当前最佳蕴涵模型迁移也远未达到要求，需大幅改进才能使集成系统接近理想行为。