CrossRE：一个用于关系抽取的跨领域数据集
计算与语言
2022-10-19 v1
摘要
关系抽取 (RE) 已吸引越来越多的关注，但当前的 RE 评估局限于领域内评估设置。对于 RE 系统在具有挑战性但真实的分布外评估设置中表现如何，人们知之甚少。为弥补这一差距，我们提出 CrossRE，一个全新的、免费可用的 RE 跨领域基准，其包含六个不同的文本领域并包含多标签标注。另一项创新是我们发布了标注期间收集的元数据，以包含解释与困难实例的标记。我们基于最先进的关系分类模型提供了实证评估。由于元数据使我们能够对新视角下的该最先进模型加以审视，我们提供了关于困难案例影响的综合分析，并发现了模型与人类标注之间的相关性。总体而言，我们的实证调查凸显了跨领域 RE 的困难。我们发布我们的数据集，以激发更多该方向的研究。
引用
@article{arxiv.2210.09345,
title = {CrossRE: A Cross-Domain Dataset for Relation Extraction},
author = {Elisa Bassignana and Barbara Plank},
journal= {arXiv preprint arXiv:2210.09345},
year = {2022}
}
备注
Accepted in Findings of the Association for Computational Linguistics: EMNLP 2022