拆解问题：一个问答理解基准
计算与语言
2020-02-03 v1
摘要
理解自然语言问题需要具备将问题拆解为计算其答案所需步骤的能力。在这项工作中，我们为问题引入了问题分解语义表示（QDMR）。QDMR 构成了通过自然语言表述的、回答一个问题所需的有序步骤列表。我们开发了一个众包流水线，表明可以大规模标注高质量的 QDMR，并发布了 Break 数据集，包含超过 83K 个问题及其 QDMR 的配对。我们展示了 QDMR 的效用：表明（a）它可用于改进 HotpotQA 数据集上的开放域问答；（b）它可被确定性地转换为伪 SQL 形式语言，从而缓解语义解析应用中的标注负担。最后，我们使用 Break 训练了一个带复制机制的序列到序列模型，将问题解析为 QDMR 结构，并表明它大幅优于多个自然基线。
引用
@article{arxiv.2001.11770,
title = {Break It Down: A Question Understanding Benchmark},
author = {Tomer Wolfson and Mor Geva and Ankit Gupta and Matt Gardner and Yoav Goldberg and Daniel Deutch and Jonathan Berant},
journal= {arXiv preprint arXiv:2001.11770},
year = {2020}
}
备注
Accepted for publication in Transactions of the Association for Computational Linguistics (TACL), 2020. Author's final version