原位 Tweedie 离散扩散模型
计算机视觉与模式识别
2025-11-25 v2 人工智能
计算与语言
机器学习
摘要
虽然扩散模型在生成诸如图像等连续数据方面表现出色，但将其适应于离散任务依赖于间接方法，这些方法要么在连续嵌入空间中操作，要么使用词元掩码机制，两者都偏离了对真实离散数据分布的建模，而该分布可由 Tweedie 公式在理论上得到保证。我们提出了原位 Tweedie 离散扩散 (TDD)，这是一个直接在离散独热空间内执行由 Tweedie 公式保证的扩散的框架，因此称为“原位”。与先前扩散连续嵌入或掩码词元的方法不同，TDD 直接用高斯噪声破坏独热向量，并通过基于时间步条件的交叉熵目标而非均方误差重建来执行迭代去噪。在每个去噪步骤中，模型预测类别概率，应用 argmax 获得离散预测，将其转换为独热向量，并以逐渐减小的噪声将其输入下一次迭代。该过程在单一框架下自然地统一了判别性分类和生成式建模。实验表明，TDD 在图像分类和文本生成任务上均取得了强劲的性能，广泛的消融研究证实了每个设计组件的有效性。我们的工作建立了一种有原则的离散扩散方法，在离散空间中原生运行的同时保留了扩散模型的核心特征。
引用
@article{arxiv.2510.01047,
title = {In-Situ Tweedie Discrete Diffusion Models},
author = {Xiao Li and Jiaqi Zhang and Shuxiang Zhang and Tianshui Chen and Liang Lin and Guangrun Wang},
journal= {arXiv preprint arXiv:2510.01047},
year = {2025}
}