全非自回归神经机器翻译：实践技巧
计算与语言
2021-01-01 v1
摘要
全非自回归神经机器翻译（NAT）被提出以通过神经网络单次前向同时预测词元，与Transformer基线相比其显著降低了推理延迟，但代价是质量下降。在本工作中，我们的目标是在保持延迟优势的同时缩小性能差距。我们首先审视全NAT模型的基本问题，并采用输出词元学习空间中的依赖削减作为基本指导。然后，我们重新审视已被证明对改进NAT模型有效的四个不同方面的方法，并将这些技术辅以必要修改仔细组合。我们在三个翻译基准上的大量实验表明，所提系统取得了全NAT模型的新最先进结果，并获得了与自回归和迭代NAT系统可比的性能。例如，其中一个所提模型在WMT14 En-De上取得27.49 BLEU点，推理时约有16.5倍加速。
引用
@article{arxiv.2012.15833,
title = {Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade},
author = {Jiatao Gu and Xiang Kong},
journal= {arXiv preprint arXiv:2012.15833},
year = {2021}
}
备注
9 pages