以印尼语子词分隔符缩减印尼语词汇量
计算与语言
2022-07-04 v1
摘要
印尼语是一种黏着语，因其具有词形成的复合过程。因此，该语言的翻译模型需要一种甚至低于词级的机制，即子词级。这一复合过程导致罕见词问题，因为词汇量急剧膨胀。我们提出一种策略来解决以印尼语作为配对语言的神经机器翻译（NMT）系统的独特词问题。我们的方法使用基于规则的方式将词转化为其词根及伴随的词缀，以保留其意义与上下文。使用基于规则的算法具有更多优势：它不需要语料库数据，仅应用标准印尼语规则。我们的实验证实该方法实用。它将词汇量显著减少达 57%，并且在英到印尼语翻译中，该策略相较不使用此技术的同类 NMT 系统带来了最高 5 个 BLEU 点的提升。
引用
@article{arxiv.2207.00552,
title = {Reduce Indonesian Vocabularies with an Indonesian Sub-word Separator},
author = {Mukhlis Amien and Feng Chong and Huang Heyan},
journal= {arXiv preprint arXiv:2207.00552},
year = {2022}
}