理解扩散语言模型中的质量-多样性权衡

扩散模型在视觉和音频等多个领域取得了显著成功。尽管将扩散模型应用于离散数据存在诸多挑战，但近期研究探索了在连续嵌入空间中应用其用于文本生成。然而，这些模型缺乏自然的方式来控制其内在的质量与多样性之间的权衡——这一特性在自回归模型中由温度超参数提供，限制了对模型性能的理解以及生成质量的控制。本文提出使用无分类器引导（classifier-free guidance）和随机夹切（stochastic clamping）来操控序列到序列任务中质量-多样性权衡的技 术，表明这些方法可用于提高扩散语言模型的性能。