将局部翻译机制引入非自回归翻译
计算与语言
2020-11-13 v1
摘要
在这项工作中，我们将一种新颖的局部自回归翻译（LAT）机制引入非自回归翻译（NAT）模型，以捕捉目标输出间的局部依赖关系。具体而言，对于每个目标解码位置，我们以自回归方式预测一个短 token 序列，而非仅一个 token。我们进一步设计了一种高效的合并算法，将输出片段对齐并合并为一个最终输出序列。我们将 LAT 集成到条件掩码语言模型（CMLM; Ghazvininejad et al., 2019）中，并类似地采用迭代解码。在五个翻译任务上的经验结果表明，与 CMLM 相比，我们的方法以更少的解码迭代取得了相当或更好的性能，带来了 2.5x 的加速。进一步分析表明，我们的方法减少了重复翻译，并在较长句子上表现更好。
引用
@article{arxiv.2011.06132,
title = {Incorporating a Local Translation Mechanism into Non-autoregressive Translation},
author = {Xiang Kong and Zhisong Zhang and Eduard Hovy},
journal= {arXiv preprint arXiv:2011.06132},
year = {2020}
}
备注
EMNLP 2020