Glauber生成模型：通过二进制分类实现离散扩散模型
机器学习
2025-03-18 v4
摘要
我们提出Glauber生成模型(GGM)，这是一类新的离散扩散模型，用于从给定的离散空间样本中获取新的样本。GGM部署称为heat bath dynamics(或Glauber dynamics)的离散马尔可夫链来降噪一序列离散标记，以生成来自离散标记联合分布的样本。我们的新型概念框架为学习降噪马尔可夫链的任务提供了精确的二分分类任务的化简。更具体地说，模型学习将给定序列中给定的标记分类为信号或噪声。相比，先前的离散扩散模型方法要么解决回归问题来学习重要比率，要么最小化由变分近似给出的损失函数。我们将GGM应用于语言建模和图像生成，其中图像使用如VQGANs等图像标记器进行离散化。我们表明，GGM在语言生成中优于现有的离散扩散模型，并且在不使用数据集特定图像标记器的情况下表现出色。我们还展示了该模型在类似文本和图像填充的零样本控制设置中表现良好。
引用
@article{arxiv.2405.17035,
title = {Glauber Generative Model: Discrete Diffusion Models via Binary Classification},
author = {Harshit Varma and Dheeraj Nagaraj and Karthikeyan Shanmugam},
journal= {arXiv preprint arXiv:2405.17035},
year = {2025}
}
备注
ICLR 2025