为神经机器翻译中的非自回归 Transformer 融入句法与语义结构
计算与语言
2021-01-25 v1 人工智能
摘要
非自回归模型通过并行解码提升了神经机器翻译的效率，但相较于自回归模型在效果上有所损失。本文主张自然语言间的句法与语义结构对非自回归机器翻译至关重要，并可进一步提升性能。然而，现有非自回归模型很少考虑这些结构。受此直觉启发，我们提出将语言的显式句法与语义结构融入非自回归 Transformer，用于神经机器翻译任务。此外，我们还考虑目标句内的中间潜在对齐，以更好地学习长期词依赖。在两个真实数据集（即 WMT14 En-De 与 WMT16 En-Ro）上的实验结果表明，与若干 SOTA 非自回归模型相比，我们的模型实现了显著更快的速度，并保持了翻译质量。
引用
@article{arxiv.2101.08942,
title = {Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation},
author = {Ye Liu and Yao Wan and Jian-Guo Zhang and Wenting Zhao and Philip S. Yu},
journal= {arXiv preprint arXiv:2101.08942},
year = {2021}
}
备注
10 pages, Appear in EACL 2021