一个快速且准确的越南语分词器
计算与语言
2017-12-27 v2
摘要
我们提出了一种新的越南语分词方法。我们的方法基于单一分类波纹下降规则（Single Classification Ripple Down Rules）方法学（Compton and Jansen, 1990），其中规则存储在异常结构中，且仅添加新规则来纠正现有规则给出的分词错误。在基准越南语树库上的实验结果表明，我们的方法在准确率和运行速度上均优于先前最先进的方法 JVnSegmenter、vnTokenizer、DongDu 和 UETsegmenter。我们的代码已开源，地址：https://github.com/datquocnguyen/RDRsegmenter。
引用
@article{arxiv.1709.06307,
title = {A Fast and Accurate Vietnamese Word Segmenter},
author = {Dat Quoc Nguyen and Dai Quoc Nguyen and Thanh Vu and Mark Dras and Mark Johnson},
journal= {arXiv preprint arXiv:1709.06307},
year = {2017}
}
备注
In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018), to appear