扩散二元性

Subham Sekhar Sahoo; Justin Deschenaux; Aaron Gokaslan; Guanghan Wang; Justin Chiu; Volodymyr Kuleshov

扩散二元性

机器学习 2025-12-22 v3 人工智能计算与语言

作者: Subham Sekhar Sahoo , Justin Deschenaux , Aaron Gokaslan , Guanghan Wang , Justin Chiu , Volodymyr Kuleshov

摘要

均匀状态离散扩散模型因其内在的自我纠正能力而在文本生成方面具有快速生成的潜力，但通常被自回归模型和掩码扩散模型所超越。在本工作中，我们通过一个关键洞察缩小了这一性能差距：均匀状态扩散过程天然地从底层的高斯扩散中自然产生。我们的方法 Duo 通过转移高斯扩散中的强大技术来提高训练和采样效果。首先，我们引入一种由高斯过程引导的课程学习策略，通过降低方差将训练速度翻倍。使用课程学习训练的模型在 3 个基准测试中零样本困惑度上超越自回归模型。其次，我们提出离散一致性蒸馏，这是一种将一致性蒸馏从连续域扩展到离散域的算法。这一算法通过将采样加速两个数量级，使扩散语言模型实现少步生成。我们在项目页面提供代码、模型检查点和视频教程：http://s-sahoo.github.io/duo

关键词

扩散模型高斯扩散课程学习一致性蒸馏文本生成离散扩散

引用

@article{arxiv.2506.10892,
  title  = {The Diffusion Duality},
  author = {Subham Sekhar Sahoo and Justin Deschenaux and Aaron Gokaslan and Guanghan Wang and Justin Chiu and Volodymyr Kuleshov},
  journal= {arXiv preprint arXiv:2506.10892},
  year   = {2025}
}

备注

ICML 2025. We provide the code at: https://github.com/s-sahoo/duo [v3] includes improved theory, clearer presentation, and a new future work section

扩散二元性

摘要

关键词

引用

备注

相关论文