强化条件下的文本扩散

扩散模型在生成高质量图像、视频和音频方面展现了卓越的能力。由于其在迭代细化方面的适应性，扩散模型为实现更好的非自回归序列生成提供了强大的潜力。然而，现有的文本扩散模型仍因语言离散性这一挑战而在性能上不足。本文深入分析文本扩散模型，发现其存在两个显著局限：训练期间自条件化性能的退化以及训练与抽样之间的误差。针对我们的发现，我们提出了一种名为TREC的新型文本扩散模型，通过强化条件化来缓解性能退化，通过时感知方差缩放来解决训练与抽样之间的误差。我们的大量实验表明，TREC在与自回归、非自回归和扩散基线方法方面具有竞争力。此外，定性分析显示，其在充分利用扩散过程细化样本方面具有先进能力。