面向非自回归神经机器翻译的模仿学习
计算与语言
2019-07-23 v2
摘要
非自回归翻译模型(NAT)已实现了令人印象深刻的推理加速。然而,现有NAT算法的一个潜在问题是解码是并行进行的,未直接考虑先前的上下文。本文提出一种用于非自回归机器翻译的模仿学习框架,其仍享有快速的翻译速度,但与自回归对应模型相比具有可比的翻译性能。我们在IWSLT16、WMT14和WMT16数据集上进行了实验。我们提出的模型相比自回归模型实现了显著的加速,同时保持与自回归模型可比的翻译质量。通过在推理时并行采样句子长度,我们在WMT16 Ro→En上取得了31.85 BLEU的性能,在IWSLT16 En→De上取得了30.68 BLEU。
引用
@article{arxiv.1906.02041,
title = {Imitation Learning for Non-Autoregressive Neural Machine Translation},
author = {Bingzhen Wei and Mingxuan Wang and Hao Zhou and Junyang Lin and Jun Xie and Xu Sun},
journal= {arXiv preprint arXiv:1906.02041},
year = {2019}
}
备注
Accepted by ACL 2019. arXiv admin note: text overlap with arXiv:1902.10245, arXiv:1812.09664 by other authors