POQue:提出参与者特定结果问题以深化对复杂事件的理解
计算与语言
2022-12-07 v1
摘要
关于结果的知识对复杂事件理解至关重要但难以获取。我们表明,通过预先识别复杂事件中的参与者,众包工作者能够(1)推断构成情境的显著事件的集体影响,(2)标注参与者在导致该情境中的意志性参与,以及(3)将该情境的结果根植于参与者的状态变化中。通过创建多步界面与严谨的质量控制策略,我们收集了 8K 短新闻叙事与 ROCStories 的高质量标注数据集,其加权 Fleiss Kappa 标注者间一致性为 0.74-0.96。我们的数据集 POQue(Participant Outcome Questions,参与者结果问题)支持探索与开发针对语义理解多层面的模型。通过实验,我们借助面向复杂事件及其结果、参与者对事件高潮影响的抽象与具体理解的任务表述,表明当前语言模型在细微方面落后于人类表现。
引用
@article{arxiv.2212.02629,
title = {POQue: Asking Participant-specific Outcome Questions for a Deeper Understanding of Complex Events},
author = {Sai Vallurupalli and Sayontan Ghosh and Katrin Erk and Niranjan Balasubramanian and Francis Ferraro},
journal= {arXiv preprint arXiv:2212.02629},
year = {2022}
}
备注
Accepted to EMNLP 2022 main conference as a long paper