基于提示的非自回归机器翻译训练
计算与语言
2019-09-17 v1 机器学习
机器学习
摘要
由于自回归分解的不可并行化本质，自回归翻译(ART)模型在解码时必须顺序生成词元，因而面临高推理延迟。非自回归翻译(NART)模型被提出以降低推理时间，但只能取得较差的翻译精度。本文中，我们提出一种新方法，利用来自隐藏状态和词对齐的提示来帮助NART模型的训练。结果在WMT14 En-De和De-En数据集上相较先前NART模型取得显著提升，甚至可与一个强基于LSTM的ART基线相媲美，但推理速度快一个数量级。
引用
@article{arxiv.1909.06708,
title = {Hint-Based Training for Non-Autoregressive Machine Translation},
author = {Zhuohan Li and Zi Lin and Di He and Fei Tian and Tao Qin and Liwei Wang and Tie-Yan Liu},
journal= {arXiv preprint arXiv:1909.06708},
year = {2019}
}
备注
EMNLP-IJCNLP 2019