TellMeWhy:一个用于回答叙事中为何类问题的数据集
计算与语言
2021-08-18 v3
摘要
回答关于人物为何执行某些动作的问题,是理解与推理叙事的核心。尽管 QA 领域近期取得进展,现有模型是否具备回答可能需输入叙事之外常识知识的“为什么”问题的能力仍不明确。本工作中,我们引入 TellMeWhy,一个新型众包数据集,包含超过 30k 个关于短篇叙事中人物为何执行所述动作的问题与自由形式答案。该数据集中有三分之一的答案不在叙事文本内。鉴于该任务自动评估的局限性,我们还提供了该系统化的数据集人工评估界面。我们对最先进模型的评估表明,它们在回答此类问题上远不及人类表现。尤其在答案位于叙事之外的问题上表现更差,从而为未来 QA 与叙事理解研究提出了挑战。
引用
@article{arxiv.2106.06132,
title = {TellMeWhy: A Dataset for Answering Why-Questions in Narratives},
author = {Yash Kumar Lal and Nathanael Chambers and Raymond Mooney and Niranjan Balasubramanian},
journal= {arXiv preprint arXiv:2106.06132},
year = {2021}
}
备注
Accepted to Findings of ACL, 2021 Data and evaluation suite available at http://lunr.cs.stonybrook.edu/tellmewhy