面向低资源语言的 Transformer：Is Féidir Linn!

Transformer 模型是机器翻译领域的当前最优技术。然而，通常情况下，神经翻译模型在训练数据不足的语言对上往往表现不佳。因此，在低资源语言对上使用这种架构进行的实验相对较少。在本研究中，我们评估了 Transformer 模型在翻译低资源英语-爱尔兰语对时的超参数优化。我们证明，选择合适的参数能带来显著的性能提升。最重要的是，子词模型的正确选择被证明是翻译性能的最大驱动因素。我们评估了同时使用 unigram 和 BPE 方法的 SentencePiece 模型。模型架构的变体包括修改层数、测试各种正则化技术以及评估最佳的注意力头数。评估使用了通用的 55k DGT 语料库和领域内的 88k 公共行政语料库。与基线 RNN 模型相比，经过优化的 Transformer 模型的 BLEU 分数提高了 7.8 个点。在包括 TER 在内的一系列指标上都观察到了提升，这表明使用 16k BPE 子词模型的优化 Transformer 模型显著减少了译后编辑的工作量。与 Google Translate 相比，我们的翻译引擎展现出了显著的提升。Transformer 能否在英语-爱尔兰语翻译的低资源设置中有效使用的问题已经得到了解答。Is féidir linn——是的，我们可以。