面向现实场景的少样本关系抽取：一个新的元数据集与评估
计算与语言
2024-04-09 v1 信息检索
摘要
我们引入了一个用于少样本关系抽取的元数据集，其中包括两个源自现有监督关系抽取数据集NYT29 (Takanobu et al., 2019; Nayak and Ng, 2020)和WIKIDATA (Sorokin and Gurevych, 2017)的数据集，以及TACRED数据集(Sabo et al., 2021)的少样本形式。重要的是，所有这些少样本数据集都是在现实假设下生成的，例如：测试关系与模型可能见过的任何关系不同、训练数据有限、以及大量候选关系提及与任何感兴趣的关系都不对应。利用这一大型资源，我们对六种最新的少样本关系抽取方法进行了全面评估，并观察到没有一种方法明显胜出。此外，该任务的总体性能较低，表明未来研究需求巨大。我们发布了所有版本的数据（即监督和少样本形式），以供未来研究使用。
引用
@article{arxiv.2404.04445,
title = {Towards Realistic Few-Shot Relation Extraction: A New Meta Dataset and Evaluation},
author = {Fahmida Alam and Md Asiful Islam and Robert Vacareanu and Mihai Surdeanu},
journal= {arXiv preprint arXiv:2404.04445},
year = {2024}
}