情境中段落效应推理
计算与语言
2019-12-17 v2
摘要
成功阅读一段文本的关键组成部分之一，是将从段落中获得的知识应用于新情境的能力。为促进此类阅读方面的进展，我们提出 ROPES，一个面向情境中段落效应推理（Reasoning Over Paragraph Effects in Situations）的具有挑战性的阅读理解基准。我们针对描述因果关系的说明性语言（例如，“动物传粉者提高花中受精效率”），因为它们对新情境具有明确含义。系统被给定一个包含至少一种此类关系的背景段落、一个运用该背景的新情境，以及需要在情境背景下对背景段落中关系效应进行推理的问题。我们从科学教科书和包含此类现象的 Wikipedia 收集背景段落，并请众包工作者编写情境、问题与答案，得到了一个包含 14,322 个问题的数据集。我们分析了该任务的挑战，并评估了最先进阅读理解模型的性能。最佳模型的表现仅略优于按正确类型随机猜测答案，F1 为 61.6%，远低于人类表现的 89.0%。
引用
@article{arxiv.1908.05852,
title = {Reasoning Over Paragraph Effects in Situations},
author = {Kevin Lin and Oyvind Tafjord and Peter Clark and Matt Gardner},
journal= {arXiv preprint arXiv:1908.05852},
year = {2019}
}