EventBERT：用于事件关联推理的预训练模型
计算与语言
2021-10-14 v1
摘要
事件关联推理推断包含多个事件的自然语言段落是否符合人类常识。例如，“Andrew 非常困，所以他睡了个长午觉，现在他很清醒”是合理且合理的。相反，“Andrew 非常困，所以他熬夜了很久，现在他很清醒”不符合人类常识。这种推理能力对于许多下游任务至关重要，如脚本推理、溯因推理、叙事不连贯性、故事完形填空等。然而，由于缺乏大量多样的事件知识以及难以捕捉多个事件之间的关联，进行事件关联推理具有挑战性。在本文中，我们提出了 EventBERT，一个预训练模型，用于从无标签文本中封装事件知识。具体来说，我们通过识别描述多个相关事件的自然语言段落，并以无监督方式进一步提取事件跨度，收集了大量训练样本。然后，我们提出了三个新颖的基于事件和关联的学习目标，在我们创建的训练语料库上预训练事件关联模型。实验结果表明，EventBERT 在四个下游任务上优于强基线，并在大多数任务上取得了最先进的结果。此外，它在这些任务的零样本学习中大幅优于现有预训练模型，例如 6.5%~23%。
引用
@article{arxiv.2110.06533,
title = {EventBERT: A Pre-Trained Model for Event Correlation Reasoning},
author = {Yucheng Zhou and Xiubo Geng and Tao Shen and Guodong Long and Daxin Jiang},
journal= {arXiv preprint arXiv:2110.06533},
year = {2021}
}
备注
12 pages, 6 figures