面向非自回归神经机器翻译多模态错误的恢复学习
计算与语言
2020-06-11 v1
摘要
非自回归神经机器翻译（NAT）同时预测整个目标序列，并显著加速推理过程。然而，NAT丢弃了句子中的依赖信息，因此不可避免地遭受多模态问题：目标词元可能由不同的可能翻译提供，常导致词元重复或缺失。为缓解该问题，我们在本工作中提出一种新颖的半自回归模型 RecoverSAT，其将翻译生成为一段段序列。这些段同时生成，而每个段逐词元预测。通过动态确定段长度并删除重复段，RecoverSAT 能够从重复和缺失词元错误中恢复。在三个广泛使用的基准数据集上的实验结果表明，与相应的自回归模型相比，我们所提模型在保持可比性能的同时实现了超过 4 的加速。
引用
@article{arxiv.2006.05165,
title = {Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation},
author = {Qiu Ran and Yankai Lin and Peng Li and Jie Zhou},
journal= {arXiv preprint arXiv:2006.05165},
year = {2020}
}
备注
This work has been accepted for publication at ACL2020