采用增强解码器输入的非自回归神经机器翻译
计算与语言
2018-12-27 v1 机器学习
摘要
非自回归翻译（NAT）模型去除了解码器输入对先前目标词的依赖，实现了显著的推理加速，但相较于自回归翻译（AT）模型精度较差。先前的研究表明，解码器输入的质量十分重要，并在很大程度上影响模型精度。本文提出两种增强解码器输入的方法以改进NAT模型。第一种方法直接利用传统SMT方法生成的短语表将源语言词翻译为目标语言词，随后将其作为解码器输入。第二种方法通过句子级对齐与词级对抗学习将源端词嵌入转换为目标端词嵌入，然后将转换后的词嵌入作为解码器输入。实验结果表明，我们的方法在WMT14英德任务上以 个BLEU分数、在WMT16英罗任务上以 个BLEU分数大幅优于NAT基线~\citep{gu2017non}。
引用
@article{arxiv.1812.09664,
title = {Non-Autoregressive Neural Machine Translation with Enhanced Decoder Input},
author = {Junliang Guo and Xu Tan and Di He and Tao Qin and Linli Xu and Tie-Yan Liu},
journal= {arXiv preprint arXiv:1812.09664},
year = {2018}
}
备注
AAAI 2019