面向离散扩散的目标具体得分匹配：一个全面的框架
机器学习
2025-04-24 v1
摘要
离散扩散是一种用于建模和生成离散数据的有前景框架。本文提出了一种新的、通用的训练和微调离散扩散模型的目标函数，即目标具体得分匹配 (Target Concrete Score Matching, TCSM)。TCSM 提供了一个具有广泛适用性的通用框架。它支持直接从数据样本对离散扩散模型进行预训练，许多现有的离散扩散方法自然地作为我们更一般的 TCSM 框架的特殊情况。此外，相同的 TCSM 目标也适用于离散扩散模型的后训练，包括使用奖励函数或偏好数据进行微调，以及从预训练的自回归模型中提取知识。这些新的能力源于 TCSM 的核心思想：估计目标分布的具体得分，这一分布位于原始（干净）数据空间中。这使得与奖励函数和预训练模型的无缝集成成为可能，这些模型天生只 operate 在干净数据空间，而非扩散过程中的噪声中间空间。我们在语言建模任务上的实验表明，TCSM 与当前方法相当或更好。此外，TCSM 在预训练和后训练场景中都非常灵活，具有更大的灵活性和样本效率。
引用
@article{arxiv.2504.16431,
title = {Target Concrete Score Matching: A Holistic Framework for Discrete Diffusion},
author = {Ruixiang Zhang and Shuangfei Zhai and Yizhe Zhang and James Thornton and Zijing Ou and Joshua Susskind and Navdeep Jaitly},
journal= {arXiv preprint arXiv:2504.16431},
year = {2025}
}