面向低资源神经机器翻译的 Transformer 优化
计算与语言
2020-11-05 v1 机器学习
摘要
具有有限平行数据量的语言对（即低资源语言）仍是神经机器翻译的一大挑战。尽管 Transformer 模型已在许多语言对上取得显著提升并成为事实上的主流架构，其在低资源条件下的能力尚未被充分研究。我们在 IWSLT14 训练数据的不同子集上的实验表明，Transformer 在低资源条件下的有效性高度依赖于超参数设置。我们的实验显示，相较于使用 Transformer 默认设置，使用针对低资源条件优化的 Transformer 可将翻译质量提升至多 7.3 个 BLEU 点。
引用
@article{arxiv.2011.02266,
title = {Optimizing Transformer for Low-Resource Neural Machine Translation},
author = {Ali Araabi and Christof Monz},
journal= {arXiv preprint arXiv:2011.02266},
year = {2020}
}
备注
To be published in COLING 2020