基于 Delta 后验确定性推断的潜变量非自回归神经机器翻译
计算与语言
2019-11-22 v5 机器学习
摘要
尽管神经机器翻译模型已达到较高的翻译质量，但其自回归特性使得推断难以并行化并导致较高的翻译延迟。受近期基于精化的方法的启发，我们提出 LaNMT，一种具有连续潜变量和确定性推断过程的潜变量非自回归模型。与现有方法不同，我们使用确定性推断算法来寻找使对数概率下界最大化的目标序列。在推断过程中，翻译长度自动调整。我们的实验表明，通过运行推断算法可以大幅提升下界，从而显著改善翻译质量。我们提出的模型在 ASPEC Ja-En 数据集上以 8.6 倍更快的解码速度缩小了非自回归与自回归方法之间的性能差距。在 WMT'14 En-De 数据集上，我们的模型以 12.5 倍加速将差距缩小至与自回归基线相差 2.0 BLEU 点。通过并行解码多个初始潜变量并使用教师模型重打分，所提模型在 WMT'14 En-De 任务上以 6.8 倍加速进一步将差距缩小至 1.0 BLEU 点。
引用
@article{arxiv.1908.07181,
title = {Latent-Variable Non-Autoregressive Neural Machine Translation with Deterministic Inference Using a Delta Posterior},
author = {Raphael Shu and Jason Lee and Hideki Nakayama and Kyunghyun Cho},
journal= {arXiv preprint arXiv:1908.07181},
year = {2019}
}
备注
This paper was accepted to AAAI 2020, the copyright is transferred to AAAI