RenewNAT：为非自回归 Transformer 刷新潜在译文
计算与语言
2023-03-15 v1
摘要
非自回归神经机器翻译（NAT）模型旨在加速推理过程并保持较高性能。然而，现有 NAT 模型难以达到理想的效率—质量权衡。一方面，具有高效推理的完全 NAT 模型表现不及自回归对应模型；另一方面，迭代 NAT 模型虽能取得可比性能，却削弱了速度优势。本文提出 RenewNAT，一种兼具高效率与高效用的灵活框架，以融合完全与迭代 NAT 模型之长。RenewNAT 先生成潜在译文，随后单次刷新之。它可在与传统 NAT 模型相同开销下（不引入额外模型参数与解码延迟）实现显著性能提升。在多个翻译基准（如 \textbf{4} 个 WMT）上的实验表明，我们的框架在无需额外速度开销的情况下，持续提升了强完全 NAT 方法（如 GLAT 与 DSLP）的性能。
引用
@article{arxiv.2303.07665,
title = {RenewNAT: Renewing Potential Translation for Non-Autoregressive Transformer},
author = {Pei Guo and Yisheng Xiao and Juntao Li and Min Zhang},
journal= {arXiv preprint arXiv:2303.07665},
year = {2023}
}
备注
Accepted by AAAI23