基于概率上下文无关文法的非自回归机器翻译
计算与语言
2023-11-15 v1 人工智能
摘要
非自回归 Transformer（NAT）显著加速了神经机器翻译的推理。然而，由于对目标词元间条件独立的假设，传统 NAT 模型相比自回归（AT）模型存在表达力有限与性能下降的问题。为应对这些局限，我们提出一种称为 PCFG-NAT 的新方法，其利用专门设计的概率上下文无关文法（PCFG）来增强 NAT 模型捕捉输出词元间复杂依赖的能力。在主要机器翻译基准上的实验结果表明，PCFG-NAT 进一步缩小了 NAT 与 AT 模型间的翻译质量差距。此外，PCFG-NAT 促进对生成句子的更深理解，解决了神经机器翻译中缺乏令人满意可解释性的问题。代码已公开于 https://github.com/ictnlp/PCFG-NAT。
引用
@article{arxiv.2311.07941,
title = {Non-autoregressive Machine Translation with Probabilistic Context-free Grammar},
author = {Shangtong Gui and Chenze Shao and Zhengrui Ma and Xishan Zhang and Yunji Chen and Yang Feng},
journal= {arXiv preprint arXiv:2311.07941},
year = {2023}
}
备注
NeurIPS 2023