WiRe57：面向开放信息抽取的细粒度基准
计算与语言
2019-08-02 v2 人工智能
摘要
我们基于五篇文档构建了开放信息抽取任务的参照集。我们尝试性解决了出现的若干议题，包括推理与粒度。我们力求更精准地定位该任务的需求。我们制定了标注指南，明确何者正确可抽取、何者不可。进而，我们利用该参照集对现有开放信息抽取系统打分。我们处理了将系统产生的抽取结果与参照元组进行评测这一非平凡问题，并分享了评测脚本。在七个被比较的抽取器中，我们发现 MinIE 系统表现最佳。
引用
@article{arxiv.1809.08962,
title = {WiRe57 : A Fine-Grained Benchmark for Open Information Extraction},
author = {William Léchelle and Fabrizio Gotti and Philippe Langlais},
journal= {arXiv preprint arXiv:1809.08962},
year = {2019}
}