信息论离散扩散
机器学习
2025-10-29 v1 信息论
math.IT
摘要
我们提出了一个用于离散扩散模型的信息论框架，可使用基于得分匹配损失的原则性 log-likelihood 估计器。灵感来自高斯情形下的 I-MMSE 身份，我们推导了离散情况中的类似结果。具体而言，我们引入了信息最小去噪得分熵 (I-MDSE) 关系，将数据及其扩散版本之间的互信息与最小去噪得分熵 (DSE) 损失相联系。我们将该理论扩展到掩码扩散，并建立了信息最小去噪交叉熵 (I-MDCE) 关系，将交叉熵损失与离散掩码过程中的互信息联系起来。这些结果提供了数据 log-likelihood 基于最优得分损失的时间积分分解，表明常用的损失函数，如 DSE 和 DCE，不仅是变分下界，而且是 tight and principled 的 log-likelihood 估计器。I-MDCE 分解进一步支持实用扩展，包括时间自由公式、提示-响应任务中的条件似然估计以及联合蒙特卡罗似然比估计。在合成数据和真实世界数据上的实验确认了我们估计器的准确性、方差稳定性和实用性。代码已公开于 https://github.com/Dongjae0324/infodis。
引用
@article{arxiv.2510.24088,
title = {Information-Theoretic Discrete Diffusion},
author = {Moongyu Jeon and Sangwoo Shin and Dongjae Jeon and Albert No},
journal= {arXiv preprint arXiv:2510.24088},
year = {2025}
}
备注
Accepted at NeurIPS 2025