面向神经机器翻译及更广泛领域的非自回归生成综述

非自回归（NAR）生成最初在神经机器翻译（NMT）中提出以加速推理，已在机器学习与自然语言处理社区引起广泛关注。尽管NAR生成能显著加快机器翻译推理速度，但相较于自回归（AR）生成，其加速以牺牲翻译准确率为代价。近年来，许多新模型与算法被设计/提出以缩小NAR与AR生成间的准确率差距。本文从多方面对各类非自回归翻译（NAT）模型进行系统综述与比较讨论。具体而言，我们将NAT的努力归为若干类，包括数据操纵、建模方法、训练准则、解码算法及预训练模型的增益。此外，我们简要回顾NAR模型在机器翻译之外的其他应用，如语法纠错、文本摘要、文本风格迁移、对话、语义解析、自动语音识别等。我们还讨论未来探索的潜在方向，包括摆脱知识蒸馏（KD）依赖、合理训练目标、NAR预训练及更广泛应用等。我们希望本综述能帮助研究者掌握NAR生成最新进展，启发先进NAR模型与算法的设计，并助行业从业者为其应用选择合适方案。本综述网页位于\url{https://github.com/LitterBrother-Xiao/Overview-of-Non-autoregressive-Applications}。