组合式问题未必需要多跳推理
计算与语言
2019-06-10 v1 人工智能
摘要
多跳阅读理解（RC）问题具有挑战性，因为它们需要跨多个段落进行阅读与推理。我们认为，构建大规模多跳 RC 数据集可能很困难。例如，即使高度组合性的问题，若其针对特定实体类型，或回答所需事实冗余，也可通过单跳回答。我们的分析以 HotpotQA 为中心，表明单跳推理能解决的数据集比例远超此前认知。我们引入一种基于 BERT 的单跳 RC 模型，取得了 67 F1——可与最优多跳模型相媲美。我们还设计了一种评估设置，其中人类未被展示预期多跳推理所需的全部段落，但仍能回答超过 80% 的问题。结合详尽的错误分析，这些结果表明应日益关注证据在多跳推理中的作用，甚至可能转向具有大型且多样证据集合的信息检索式评估。
引用
@article{arxiv.1906.02900,
title = {Compositional Questions Do Not Necessitate Multi-hop Reasoning},
author = {Sewon Min and Eric Wallace and Sameer Singh and Matt Gardner and Hannaneh Hajishirzi and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:1906.02900},
year = {2019}
}
备注
Published as a conference paper at ACL 2019 (short). Code available at https://github.com/shmsw25/single-hop-rc