面向非自回归文本生成的扩散模型：综述

非自回归（NAR）文本生成在自然语言处理领域备受关注，其大幅降低了推理延迟，却不得不牺牲生成准确性。近来，扩散模型——一类隐变量生成模型——被引入 NAR 文本生成，展现出提升的文本生成质量。本综述回顾了扩散模型用于 NAR 文本生成的近期进展。作为背景，我们首先给出扩散模型与文本扩散模型的一般定义，并讨论其用于 NAR 生成的优势。作为核心内容，我们进一步介绍现有文本扩散工作中的两类主流扩散模型，并回顾扩散过程的关键设计。此外，我们讨论了预训练语言模型（PLMs）在文本扩散模型中的利用，并介绍针对文本数据的优化技术。最后，我们探讨若干有前景的方向并总结全文。本综述旨在为研究者提供关于 NAR 生成文本扩散模型相关研究的系统性参考。我们在 https://github.com/RUCAIBox/Awesome-Text-Diffusion-Models 整理了文本扩散模型集合。