Wojood:基于 BERT 的阿拉伯语嵌套命名实体语料库与识别
计算与语言
2022-05-24 v2 人工智能
信息检索
机器学习
摘要
本文提出 Wojood,一个用于阿拉伯语嵌套命名实体识别(NER)的语料库。嵌套实体是指一个实体提及嵌入于另一个实体提及内部的情况。Wojood 包含约 550K 现代标准阿拉伯语(MSA)及方言词元,人工标注了 21 种实体类型,包括人物、组织、地点、事件与日期。更重要的是,该语料库标注的是嵌套实体而非更常见的扁平标注。数据包含约 75K 实体,其中 22.5% 为嵌套实体。语料库标注者间评估显示出强一致性,Cohen's Kappa 为 0.979,F1-score 为 0.976。为验证我们的数据,我们使用该语料库训练了一个基于多任务学习与 AraBERT(阿拉伯语 BERT)的嵌套 NER 模型。该模型取得了 0.884 的总体 micro F1-score。我们的语料库、标注指南、源代码与预训练模型均已公开可用。
引用
@article{arxiv.2205.09651,
title = {Wojood: Nested Arabic Named Entity Corpus and Recognition using BERT},
author = {Mustafa Jarrar and Mohammed Khalilia and Sana Ghanem},
journal= {arXiv preprint arXiv:2205.09651},
year = {2022}
}