MAVEN:一个大规模通用领域事件检测数据集
计算与语言
2020-10-09 v2
摘要
事件检测(ED)是指识别事件触发词并分类事件类型,是从纯文本中提取事件知识的第一步也是最基础的步骤。大多数现有数据集存在以下限制 ED 进一步发展的问题:(1)数据稀缺。现有的小规模数据集不足以训练和稳定地基准测试日益复杂的现代神经网络方法。(2)低覆盖度。现有数据集有限的事件类型不能很好地覆盖通用领域事件,这限制了 ED 模型的应用。为缓解这些问题,我们提出了一个大规模事件检测数据集(MAVEN),包含 4,480 篇 Wikipedia 文档、118,732 个事件提及实例和 168 种事件类型。MAVEN 缓解了数据稀缺问题并覆盖了更多的通用事件类型。我们复现了近期最先进的 ED 模型并在 MAVEN 上进行了全面评估。实验结果表明,现有 ED 方法在 MAVEN 上无法取得如在小型数据集上那样令人满意的结果,这表明真实世界中的 ED 仍是一项具有挑战性的任务并需要进一步的研究努力。我们还通过实证分析讨论了通用领域 ED 的进一步方向。源代码和数据集可从 https://github.com/THU-KEG/MAVEN-dataset 获取。
引用
@article{arxiv.2004.13590,
title = {MAVEN: A Massive General Domain Event Detection Dataset},
author = {Xiaozhi Wang and Ziqi Wang and Xu Han and Wangyi Jiang and Rong Han and Zhiyuan Liu and Juanzi Li and Peng Li and Yankai Lin and Jie Zhou},
journal= {arXiv preprint arXiv:2004.13590},
year = {2020}
}
备注
Accepted at EMNLP 2020