LAVA NAT：一种具有环视解码与词表注意力的非自回归翻译模型
计算与语言
2020-02-11 v1
摘要
非自回归翻译（NAT）模型在一次前向传播中生成多个词元，与自回归翻译（AT）方法相比在推理阶段效率极高。然而，NAT模型常受多模态问题困扰，即生成重复词元或遗漏词元。本文提出两种新颖方法来解决该问题：环视（LA）策略与词表注意力（VA）机制。环视策略通过预测邻近词元来预测当前词元，而词表注意力通过对每个位置关注整个词表以获知即将生成何种词元，从而建模解码器内部的长期词元依赖。我们提出的模型在推理时相比自回归模型及大多数其他NAT模型耗时显著更少。我们在四个基准（WMT14 EnDe、WMT14 DeEn、WMT16 RoEn 和 IWSLT14 DeEn）上的实验表明，所提模型在与最先进的（SOTA）非自回归和自回归模型相比具有竞争力的性能，同时显著降低了推理阶段的时间开销。
引用
@article{arxiv.2002.03084,
title = {LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention},
author = {Xiaoya Li and Yuxian Meng and Arianna Yuan and Fei Wu and Jiwei Li},
journal= {arXiv preprint arXiv:2002.03084},
year = {2020}
}