CANDI：混合离散-连续扩散模型
机器学习
2025-10-30 v2 机器学习
摘要
虽然连续扩散在连续域（如图像生成）中取得了显著成功，但其直接应用于离散数据表现不佳，尤其相对于纯离散形式。尽管连续扩散学习的评分函数能够实现跨多个位置的联合演化，这一差距仍显得反直觉。为理解这一差距，我们提出了“token 可识别性”作为理解高斯噪声如何通过两种机制破坏离散数据：离散身份破坏与连续秩序退化。我们揭示，这两种机制随词汇规模的尺度不同，导致时间失调：在离散破坏保留足够结构以便条件学习的噪声水平下，连续去噪是平凡的；而在连续去噪有意义的噪声水平下，离散破坏几乎消耗了所有条件结构。为解决此问题，我们提出 CANDI（Continuous ANd DIscrete diffusion），一种混合框架，解耦离散与连续破坏，实现条件结构与连续几何的同步学习。我们经验性地验证了时间失调现象，证明 CANDI 成功地规避了这一问题。这一框架解锁了连续扩散在离散空间中的优势：在受控生成任务中，CANDI 能够通过简单梯度相加实现基于分类器的引导；在文本生成任务中，CANDI 在低 NFE 下超越遮盖扩散，展示了学习离散空间连续梯度的价值。我们在项目页面提供代码：https://patrickpynadath1.github.io/candi-lander
关键词
引用
@article{arxiv.2510.22510,
title = {CANDI: Hybrid Discrete-Continuous Diffusion Models},
author = {Patrick Pynadath and Jiaxin Shi and Ruqi Zhang},
journal= {arXiv preprint arXiv:2510.22510},
year = {2025}
}