MAVEN-Fact：大规模事件事实性检测数据集
计算与语言
2024-07-23 v1
摘要
事件事实性检测(EFD)任务确定文本事件的事实性，即对事件是事实、可能性还是不可能性进行分类，这对于可靠地理解和利用事件知识至关重要。然而，由于缺乏高质量的大规模数据，事件事实性检测在事件理解研究中受到忽视，这限制了EFD社区的发展。为解决这些问题并提供可靠的事件理解，我们介绍了MAVEN-Fact，这是一个基于MAVEN数据集构建的大规模高质量EFD数据集。MAVEN-Fact包含112,276个事件的事实性标注，使其成为最大的EFD数据集。广泛的实验表明，MAVEN-Fact对传统微调模型和大语言模型(LLM)都具有挑战性。由于MAVEN中事件论元和关系的全面标注，MAVEN-Fact也支持一些进一步的分析，我们发现采用事件论元和关系有助于微调模型进行事件事实性检测，但对LLM没有帮助。此外，我们初步研究了事件事实性检测的一个应用案例，发现它有助于减轻LLM中与事件相关的幻觉。我们的数据集和代码可在\url{https://github.com/lcy2723/MAVEN-FACT}获取
引用
@article{arxiv.2407.15352,
title = {MAVEN-Fact: A Large-scale Event Factuality Detection Dataset},
author = {Chunyang Li and Hao Peng and Xiaozhi Wang and Yunjia Qi and Lei Hou and Bin Xu and Juanzi Li},
journal= {arXiv preprint arXiv:2407.15352},
year = {2024}
}
备注
Under review