离散 Markov 桥
机器学习
2025-05-27 v1 人工智能
计算与语言
摘要
离散扩散近期已成为离散数据建模中一种极具前景的范式。然而,现有方法在训练期间通常依赖于固定的速率转移矩阵,这不仅限制了潜在表示的表达能力(变分方法的一项基本优势),也约束了整体的设计空间。为解决这些局限性,我们提出了离散 Markov 桥(Discrete Markov Bridge),一种专为离散表示学习设计的新型框架。我们的方法建立在两个关键组件之上:矩阵学习和分数学习。我们进行了严格的理论分析,为矩阵学习建立了正式的性能保证,并证明了整体框架的收敛性。此外,我们分析了该方法的空间复杂度,解决了先前研究中指出的实际约束。广泛的实证评估验证了所提出的离散 Markov 桥的有效性,该方法在 Text8 数据集上实现了 1.38 的证据下界(ELBO),优于已有的基线方法。此外,所提出的模型在 CIFAR-10 数据集上展现出具有竞争力的性能,取得了与特定图像生成方法相当的结果。
引用
@article{arxiv.2505.19752,
title = {Discrete Markov Bridge},
author = {Hengli Li and Yuxuan Wang and Song-Chun Zhu and Ying Nian Wu and Zilong Zheng},
journal= {arXiv preprint arXiv:2505.19752},
year = {2025}
}