为非自回归神经机器翻译检索序列信息
计算与语言
2019-06-25 v1 人工智能
机器学习
摘要
非自回归Transformer(NAT)旨在通过舍弃自回归机制并独立生成目标词来加速Transformer模型，但这使其无法利用目标序列信息。出于上述原因，过翻译和欠翻译错误频繁发生，尤其在长句翻译场景中。本文提出两种方法为NAT检索目标序列信息，在保持其快速解码特性的同时增强翻译能力。首先，我们提出一种基于新颖强化算法的NAT序列级训练方法(Reinforce-NAT)，以降低方差并稳定训练过程。其次，我们提出一种名为FS-decoder的创新Transformer解码器，将目标序列信息融合到解码器顶层。在三个翻译任务上的实验结果表明，Reinforce-NAT在BLEU上显著超越基线NAT系统且不减慢解码速度，而FS-decoder以可观的加速比实现了与自回归Transformer相当的翻译性能。
引用
@article{arxiv.1906.09444,
title = {Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation},
author = {Chenze Shao and Yang Feng and Jinchao Zhang and Fandong Meng and Xilin Chen and Jie Zhou},
journal= {arXiv preprint arXiv:1906.09444},
year = {2019}
}
备注
12 pages, 4 figures, ACL 2019 long paper