细节决定成败：论事件抽取评测中的陷阱
计算与语言
2023-06-16 v2 人工智能
摘要
事件抽取(EE)是一项旨在从文本中抽取事件的关键任务，包含事件检测(ED)与事件论元抽取(EAE)两个子任务。本文中，我们检验了EE评测的可靠性，并识别出三个主要陷阱：(1) 数据预处理差异使得同一数据集上的评测结果无法直接比较，但论文中并未广泛注意与说明数据预处理细节。(2) 不同模型范式的输出空间差异使得不同范式的EE模型缺乏比较依据，并导致预测与标注间存在不清晰的映射问题。(3) 许多仅做EAE的工作缺乏流水线评测，使其难以与EE工作直接比较，且可能无法很好反映真实流水线场景下的模型性能。我们通过近期论文的综合性元分析与实证实验展示了这些陷阱的显著影响。为避免这些陷阱，我们提出一系列补救措施，包括明确数据预处理、标准化输出以及提供流水线评测结果。为助力实施这些补救措施，我们开发了统一评测框架OMNIEVENT，可从https://github.com/THU-KEG/OmniEvent获取。
引用
@article{arxiv.2306.06918,
title = {The Devil is in the Details: On the Pitfalls of Event Extraction Evaluation},
author = {Hao Peng and Xiaozhi Wang and Feng Yao and Kaisheng Zeng and Lei Hou and Juanzi Li and Zhiyuan Liu and Weixing Shen},
journal= {arXiv preprint arXiv:2306.06918},
year = {2023}
}
备注
Accepted at Findings of ACL 2023