深编码器，浅解码器：重新评估非自回归机器翻译
计算与语言
2021-06-28 v4
摘要
近期大量工作投入于非自回归神经机器翻译，在现代 GPU 上，它似乎是当前最先进自回归机器翻译的高效替代方案。与后者生成过程是顺序的不同，前者允许在目标词元位置上并行生成。与自回归基线相比，一些最新的非自回归模型取得了令人印象深刻的翻译质量-速度权衡。在这项工作中，我们重新审视了这种权衡，并论证了自回归基线可以在不损失精度的情况下被大幅加速。具体而言，我们研究了具有不同深度编码器和解码器的自回归模型。我们的大量实验表明，给定一个足够深的编码器，单层自回归解码器在推理速度相当的情况下，可以大幅优于强大的非自回归模型。我们表明，自回归基线与非自回归方法相比的速度劣势在三个方面被高估了：次优的层分配、不充分的速度测量以及缺乏知识蒸馏。我们的结果为未来面向快速、准确机器翻译的研究建立了一个新协议。我们的代码可在 https://github.com/jungokasai/deep-shallow 获取。
引用
@article{arxiv.2006.10369,
title = {Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation},
author = {Jungo Kasai and Nikolaos Pappas and Hao Peng and James Cross and Noah A. Smith},
journal= {arXiv preprint arXiv:2006.10369},
year = {2021}
}
备注
ICLR 2021 Final Version