BPE与形态分割：四种多式综合语言机器翻译的案例研究

形态丰富且多式综合的语言因数据稀疏性对NLP系统构成挑战，处理此问题的常见策略是应用子词分割。我们研究了针对四种多式综合语言——纳瓦特尔语、拉拉穆里语、希皮博-科尼博语和维沙里卡语的多种有监督与无监督形态分割方法。随后，在翻译自西班牙语与译入西班牙语的机器翻译（MT）中，我们将受形态启发的分割方法与字节对编码（BPE）作为输入进行比较。我们表明，除纳瓦特尔语外的所有语言对，无监督形态分割算法均一致优于BPE，并且尽管有监督方法取得更好的分割分数，其在MT挑战中表现欠佳。最后，我们贡献了两个新的拉拉穆里语与希皮博-科尼博语形态分割数据集，以及一份拉拉穆里语—西班牙语平行语料库。