基于 BERT 的波斯语分词校正与零宽不连字符识别联合方法
计算与语言
2020-10-29 v2
摘要
在波斯语书写系统中，词语应当被正确分割；然而在实践中，这些书写规则常被忽视，导致单个词语被分散书写，多个词语之间无任何空白。本文针对波斯语中的分词与零宽不连字符（ZWNJ）识别问题，将其作为序列标注问题联合处理。我们在精心收集的 500 句高难度语料上取得了 92.40% 的宏平均 F1 分数。
引用
@article{arxiv.2010.00287,
title = {Joint Persian Word Segmentation Correction and Zero-Width Non-Joiner Recognition Using BERT},
author = {Ehsan Doostmohammadi and Minoo Nassajian and Adel Rahimi},
journal= {arXiv preprint arXiv:2010.00287},
year = {2020}
}