探索用于埃及阿拉伯语-英语语码混合文本神经机器翻译的分词方法

数据稀疏性是语码混合（CS）带来的主要挑战之一，对于形态丰富的语言这一问题更为严重。对于机器翻译（MT）任务，形态学分词已证明能成功缓解单语环境下的数据稀疏性；然而，其在CS场景下的作用尚未被研究。本文中，我们研究了不同分词方法对MT性能的有效性，涵盖基于形态和基于频率的分词技术。我们在从语码混合阿拉伯语-英语到英语的MT上进行实验。我们提供了详细的分析，考察了多种条件，如数据规模与具有不同CS程度的句子。实证结果表明，形态感知分词器在分词任务中表现最佳，但在MT中表现欠佳。尽管如此，我们发现用于MT的分词设置选择高度依赖于数据规模。对于极端低资源场景，基于频率和基于形态的分词相结合表现最佳。对于资源更充足的设置，此类组合相较于仅使用基于频率的分词并未带来显著改进。