TUBE：离散扩散语言模型证据的切向上界
机器学习
2026-05-26 v1
摘要
对数似然是评估生成模型的标准指标。然而，与自回归模型（ARMs）不同，离散扩散模型通常无法精确计算这一量。现有的评估方法因此依赖于证据下界（ELBO），无法明确知道真实值可能高出多少。我们通过引入证据的切向上界（TUBE），一种可采用无偏蒙特卡罗估计器的变分上界来解决这一问题。我们的TUBE适用于包括掩码扩散模型（MDMs）、任意顺序ARMs（AO-ARMs）以及两者的块变体在内的潜变量模型。应用于块MDMs和块AO-ARMs时，TUBE揭示了我们的关键实证发现，这些模型严格位于精确ARMs基准之下，表明ARMs在似然性方面仍占据优势。
引用
@article{arxiv.2605.24292,
title = {TUBE: Tangent Upper Bound on Evidence for Discrete Diffusion Language Models},
author = {Arseny Ivanov and Sergei Kholkin and Vladislav Gromadskii and Grigoriy Ksenofontov and Ivan Oseledets and Alexander Korotin},
journal= {arXiv preprint arXiv:2605.24292},
year = {2026}
}
备注
Preprint. 9 pages main text, 5 figures, plus appendix