基于隐对齐的非自回归机器翻译
计算与语言
2020-11-17 v3 机器学习
摘要
本文提出两种强劲方法——CTC与Imputer，用于非自回归机器翻译，它们通过动态规划对隐对齐建模。我们重新审视用于机器翻译的CTC，并证明简单的CTC模型可在单步非自回归机器翻译中达到最优性能（SOTA），这与先前工作的结论相反。此外，我们将Imputer模型适配于非自回归机器翻译，并证明仅需4个生成步的Imputer即可匹配自回归Transformer基线的性能。我们的隐对齐模型比许多现有非自回归翻译基线更简单；例如，我们不需要目标长度预测或用自回归模型重打分。在具竞争力的WMT'14 EnDe任务上，我们的CTC模型以单生成步取得25.7 BLEU，而Imputer以2生成步取得27.5 BLEU，以4生成步取得28.0 BLEU。这优于27.8 BLEU的自回归Transformer基线。
引用
@article{arxiv.2004.07437,
title = {Non-Autoregressive Machine Translation with Latent Alignments},
author = {Chitwan Saharia and William Chan and Saurabh Saxena and Mohammad Norouzi},
journal= {arXiv preprint arXiv:2004.07437},
year = {2020}
}