ItDPDM：基于信息论的离散泊松扩散模型
机器学习
2026-02-12 v4 信息论
math.IT
概率论
摘要
生成非负离散数据的生成建模（如符号音乐）仍面临两个持续存在的局限性。首先，许多方法依赖建模连续嵌入，这对固有离散数据分布不够优化。其次，大多数模型优化变分下界而非精确数据似然，导致似然估计不准确且采样质量下降。虽然近期的扩散模型分别解决了这些问题，但本文联合解决。本文引入信息论离散泊松扩散模型（ItDPDM），灵感来自光子到达过程，将精确似然估计与完全离散状态建模结合。我们方法的核心是信息论泊松重构损失（PRL），其可证明与真实数据似然存在精确关系。ItDPDM 在多种合成离散数据集上实现了改进的似然和采样性能。 Furthermore，在真实数据集（如符号音乐和图像）上，ItDPDM 获得了优越的似然估计和具竞争力的生成质量，证明了面向分布鲁棒的离散生成建模的可行性。
引用
@article{arxiv.2505.05082,
title = {ItDPDM: Information-Theoretic Discrete Poisson Diffusion Model},
author = {Sagnik Bhattacharya and Abhiram Gorle and Ahsan Bilal and Connor Ding and Amit Kumar Singh Yadav and Tsachy Weissman},
journal= {arXiv preprint arXiv:2505.05082},
year = {2026}
}
备注
Published in NeurIPS 2025