用于神经机器翻译的极深 Transformer 模型
计算与语言
2020-10-16 v2
摘要
我们探索了极深 Transformer 模型在神经机器翻译（NMT）中的应用。利用一种简单而有效的稳定训练初始化技术，我们证明构建多达 60 个编码器层与 12 个解码器层的标准基于 Transformer 的模型是可行的。这些深度模型以最高 2.5 BLEU 的优势超越其 6 层基线模型，并在 WMT14 英—法（43.8 BLEU 及借助回译的 46.4 BLEU）与 WMT14 英—德（30.1 BLEU）上取得新的最优基准结果。代码与训练模型将公开于：https://github.com/namisan/exdeep-nmt。
引用
@article{arxiv.2008.07772,
title = {Very Deep Transformers for Neural Machine Translation},
author = {Xiaodong Liu and Kevin Duh and Liyuan Liu and Jianfeng Gao},
journal= {arXiv preprint arXiv:2008.07772},
year = {2020}
}
备注
6 pages, 3 figures and 4 tables. V2 includes the back-translation results