波斯语分词器评测
计算与语言
2022-02-23 v1 人工智能
摘要
分词在词法分析过程中起着重要作用。词元成为其他自然语言处理任务（如语义解析和语言建模）的输入。由于波斯语的特殊情况（如半空格），波斯语的自然语言处理具有挑战性。因此，拥有一个精确的波斯语分词器至关重要。本文引入最广泛使用的波斯语分词器，并使用一种简单算法和预标注的波斯语依存数据集，在波斯语文本上比较和评估它们的性能，从而提供了一种新颖的工作。在使用F1分数对分词器进行评估后，带有有界语素修正的Farsi Verb与Hazm的混合版本表现出最佳性能，F1分数达98.97%。
引用
@article{arxiv.2202.10879,
title = {Evaluating Persian Tokenizers},
author = {Danial Kamali and Behrooz Janfada and Mohammad Ebrahim Shenasa and Behrouz Minaei-Bidgoli},
journal= {arXiv preprint arXiv:2202.10879},
year = {2022}
}