SinaTools：阿拉伯语自然语言处理的开源工具包
计算与语言
2024-11-05 v1 人工智能
摘要
我们介绍了SinaTools，一个用于阿拉伯语自然语言处理和理解的开源Python软件包。SinaTools是一个统一的软件包，允许人们将其集成到系统工作流中，为各种任务提供解决方案，包括扁平和嵌套的命名实体识别（NER）、完全标注的词义消歧（WSD）、语义相关性、同义词提取与评估、词形还原、词性标注、词根标注，以及额外的辅助工具如语料库处理、文本剥离方法和感知音标的词匹配。本文介绍了SinaTools及其基准测试结果，展示了SinaTools在上述任务上优于所有类似工具，例如扁平NER（87.33%）、嵌套NER（89.42%）、WSD（82.63%）、语义相关性（0.49 Spearman秩）、词形还原（90.5%）、词性标注（97.5%）等。SinaTools可从https://sina.birzeit.edu/sinatools下载。
引用
@article{arxiv.2411.01523,
title = {SinaTools: Open Source Toolkit for Arabic Natural Language Processing},
author = {Tymaa Hammouda and Mustafa Jarrar and Mohammed Khalilia},
journal= {arXiv preprint arXiv:2411.01523},
year = {2024}
}
备注
10 pages, 3 figures