面向非自回归机器翻译的有向无环 Transformer 的 Viterbi 解码
计算与语言
2023-03-03 v2
摘要
非自回归模型在神经机器翻译中实现了显著的解码加速，但缺乏捕捉序列依赖性的能力。有向无环 Transformer（DA-Transformer）最近被提出，用于通过有向无环图对序列依赖性进行建模。因此，它必须在推理时应用序列决策过程，这损害了全局翻译准确性。在本文中，我们提出了一个用于 DA-Transformer 的 Viterbi 解码框架，保证在任何长度约束下找到翻译和解码路径的联合最优解。实验结果表明，我们的方法在保持相似解码加速的同时，持续提升了 DA-Transformer 的性能。
引用
@article{arxiv.2210.05193,
title = {Viterbi Decoding of Directed Acyclic Transformer for Non-Autoregressive Machine Translation},
author = {Chenze Shao and Zhengrui Ma and Yang Feng},
journal= {arXiv preprint arXiv:2210.05193},
year = {2023}
}
备注
Findings of EMNLP 2022