你所说的关系抽取究竟指什么？数据集综述及科学关系分类研究
计算与语言
2022-04-29 v1
摘要
过去五年中，关系抽取（RE）研究取得广泛进展，伴随许多新数据集发布。与此同时，实验设定清晰度下降，导致可靠经验评估难度增加（Taillé et al., 2020）。本文提供对 RE 数据集的全面综述，并重新审视任务定义及其在学界中的采纳情况。我们发现跨数据集与跨领域设定尤其匮乏。我们针对两个数据集上的科学关系分类给出经验研究。尽管数据高度重叠，分析揭示标注存在显著分歧。标注分歧强烈影响关系分类性能，解释了跨数据集评估中的大幅性能下降。进一步子领域内的差异存在，但仅有限程度地影响关系分类。总体而言，我们的研究呼吁在 RE 中更严谨地报告设定，并在多个测试集上评估。
引用
@article{arxiv.2204.13516,
title = {What do You Mean by Relation Extraction? A Survey on Datasets and Study on Scientific Relation Classification},
author = {Elisa Bassignana and Barbara Plank},
journal= {arXiv preprint arXiv:2204.13516},
year = {2022}
}
备注
Accepted at the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop (2022)