离散扩散模型中随机性的误差更正效应
机器学习
2026-05-27 v1 人工智能
摘要
离散扩散模型在文本和图像生成中取得了强大的性能，但其推理仍然缓慢，且必须在采样效率与样本质量之间做出必然的权衡。在本工作中，我们系统性地研究了马尔可夫转移中随机性程度如何支配该权衡。我们表明，高度确定性的转移快速收敛但易产生误差累积，而更随机的转移收敛较慢但可实现更高的最终样本质量。通过信息论分析，我们识别出其背后的机制是由产生误差更正效应的"冗余转移"所致，这些转移在状态之间对称地交换质量，并且我们证明这些转移可证明地收缩采样误差。鼓励这一分析，我们提出了"离散混乱与重启采样" (DCRS)，这是一种一种 novel inference algorithm，通过交替进行前向和反向扩散过程来注入受控随机性。在合成数据集和大规模基准测试上的实验表明，DCRS在功能评估次数较少的 regime 中改善了速度与质量之间的权衡。在图像数据集上，DCRS相对于标准采样器实现了最高达的采样步骤减少，同时保持具竞争力的样本质量；而在语言基准测试上，我们观察到取决于损坏过程和采样程序的更细致的行为。
引用
@article{arxiv.2605.26582,
title = {On the Error-Correcting Effects of Stochasticity in Discrete Diffusion},
author = {William Yuan and Sungwon Jeong and Amirali Aghazadeh},
journal= {arXiv preprint arXiv:2605.26582},
year = {2026}
}