用于更快神经机器翻译的句法监督 Transformer
计算与语言
2020-10-06 v1
摘要
神经机器翻译的标准解码器在每个时间步自回归地生成单个目标词，这拖慢了推理，尤其对于长输出。尽管诸如 Transformer 的架构在训练时完全并行化解码器计算，推理仍顺序进行。近期在非自回归与半自回归解码上的进展在每个时间步独立生成多个词，提升了推理速度但损害了翻译质量。在本文中，我们提出句法监督 Transformer（SynST），其首先自回归预测分块解析树，然后在所预测解析树的条件下一次性生成所有目标词。一系列受控实验表明，SynST 解码句子比基线自回归 Transformer 快约 5 倍，同时在 En-De 与 En-Fr 数据集上取得比多数竞争方法更高的 BLEU 分数。
引用
@article{arxiv.1906.02780,
title = {Syntactically Supervised Transformers for Faster Neural Machine Translation},
author = {Nader Akoury and Kalpesh Krishna and Mohit Iyyer},
journal= {arXiv preprint arXiv:1906.02780},
year = {2020}
}
备注
9 pages, 5 figures, accepted to ACL 2019