从分数到吉布斯校正器：加速均匀速率离散扩散模型
机器学习
2026-05-27 v1 机器学习
摘要
离散扩散模型在文本和其他符号领域取得了强大的实证性能，但特别是对于均匀速率模型，它们通常需要许多步骤才能生成单个样本。现有的加速方法要么依赖于训练额外的量，要么遭受缓慢的混合。在这项工作中，我们提出了一种新的基于吉布斯采样的离散扩散模型校正器，称为吉布斯加速离散扩散（GADD）。GADD利用具体分数函数的结构直接构建吉布斯后验似然，除了标准分数估计外，不需要任何额外的训练。我们证明GADD实现了 的整体采样复杂度，为均匀速率离散扩散模型的基于扩散的采样器提供了首个这样的速率。我们还进行了数值实验，展示了GADD在合成数据、零样本文本采样和零样本条件音乐生成中的实际优势。这些结果证实了理论，并表明GADD在样本质量和时钟效率上始终优于标准基线，包括vanilla Euler方法和CTMC校正器。除此之外，我们的理论分析引入了一个新的框架，用于分析离散扩散模型中的预测器-校正器方法，这可能具有独立的意义。与依赖于Girsanov测度变换技术的现有方法不同，我们的方法基于一个归纳论证，该论证在考虑校正器更新不准确性的同时，追踪预测器迭代中的误差传播。
引用
@article{arxiv.2605.27352,
title = {From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models},
author = {Yuchen Liang and Ness Shroff and Yingbin Liang},
journal= {arXiv preprint arXiv:2605.27352},
year = {2026}
}