开源阿拉伯语命名实体识别工具的比较
计算与语言
2022-05-13 v1
摘要
本文的主要目标是比较和评估三个开源阿拉伯语 NER 工具：CAMeL、Hatmi 与 Stanza 的性能。我们收集了由 30 篇现代标准阿拉伯语（MSA）文章组成的语料库，并在文章（文档）层级手动标注了所有人、组织与地点类型的实体。我们的结果表明 Stanza 与 Hatmi 相似，后者在三类实体上获得最高 F1 分数。然而，CAMeL 在人名与组织名上取得最高精度值。此后，我们实现了一种“合并”方法，将三个工具的结果组合，以及一种“投票”方法，仅当三个工具中两个将其识别为实体时才标注命名实体。我们的结果显示合并取得了最高总体 F1 分数。此外，合并具有最高召回值，而投票在三类实体上具有最高精度值。这表明当需要召回时合并更合适，而当需要精度时投票最优。最后，我们收集了 21,635 篇与 COVID-19 相关的文章语料并应用合并与投票方法。我们的分析展示了两种方法在精度与召回之间的权衡。
引用
@article{arxiv.2205.05857,
title = {Comparing Open Arabic Named Entity Recognition Tools},
author = {Abdullah Aldumaykhi and Saad Otai and Abdulkareem Alsudais},
journal= {arXiv preprint arXiv:2205.05857},
year = {2022}
}