形态学感知分词在低资源神经机器翻译中的有效性
计算与语言
2024-05-17 v1 人工智能
摘要
本文评估了几种现代子词分词方法在低资源神经机器翻译设置下的性能。我们比较了在 token 或句子级别应用 BPE 所产生的分词，与来自 LMVR 和 MORSEL 的基于形态学的分词。我们评估了英语与尼泊尔语、僧伽罗语和哈萨克语各自的翻译任务，并预测使用基于形态学的方法会在该设置下带来更好的性能。然而，与 BPE 相比，我们发现这些分词方法之间并未出现一致且可靠的差异。尽管基于形态学的方法在少数情况下优于 BPE，但表现最佳者往往随任务不同而变化，且分词方法的性能经常在统计上不可区分。
引用
@article{arxiv.2103.11189,
title = {The Effectiveness of Morphology-aware Segmentation in Low-Resource Neural Machine Translation},
author = {Jonne Sälevä and Constantine Lignos},
journal= {arXiv preprint arXiv:2103.11189},
year = {2024}
}
备注
EACL 2021 Student Research Workshop