SentencePiece：一种用于神经文本处理的简单且语言无关的亚词分词与还原器
计算与语言
2018-08-21 v1
摘要
本文描述SentencePiece，一种为基于神经的文本处理(包括神经机器翻译)设计的语言无关的亚词分词器与还原器。它提供用于亚词单元的开源C++与Python实现。现有亚词分割工具假定输入已被预分词为词序列，而SentencePiece可直接从原始句子训练亚词模型，这使我们能够构建纯粹的端到端且语言无关的系统。我们在英日机器翻译上进行了NMT验证实验，发现从原始句子直接进行亚词训练可达到相当的准确率。我们还比较了不同配置下亚词训练与分割的性能。SentencePiece基于Apache 2许可证发布于https://github.com/google/sentencepiece。
引用
@article{arxiv.1808.06226,
title = {SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing},
author = {Taku Kudo and John Richardson},
journal= {arXiv preprint arXiv:1808.06226},
year = {2018}
}
备注
Accepted as a demo paper at EMNLP2018