为 Transformer 引入语言因子以增强低资源机器翻译
计算与语言
2020-12-25 v2
摘要
引入因子,即指涉源词元的语言信息等词特征,已知可在某些设定下(通常在循环架构中)改善神经机器翻译系统的结果。本研究提出增强当前最先进的神经机器翻译架构 Transformer,使其允许引入外部知识。具体而言,我们提出的改进模型 Factored Transformer 使用语言因子将额外知识插入机器翻译系统。除使用不同种类的特征外,我们研究了不同架构配置的影响。具体地,我们分析了在嵌入层或编码器层组合词与特征的性能,并试验了两种不同的组合策略。以最佳发现的配置,我们在 IWSLT 德英任务上展示了比基线 Transformer 提高 0.8 BLEU。此外,我们试验了更具挑战性的 FLoRes 英尼泊尔语基准,其包含极低资源且相距极远的语言,并获得了 1.2 BLEU 的提升。
引用
@article{arxiv.2004.08053,
title = {Enriching the Transformer with Linguistic Factors for Low-Resource Machine Translation},
author = {Jordi Armengol-Estapé and Marta R. Costa-jussà and Carlos Escolano},
journal= {arXiv preprint arXiv:2004.08053},
year = {2020}
}