具有单纯形扩散的类别型 SDEs
机器学习
2022-10-27 v1
摘要
扩散模型通常在生成建模的标准框架内运行，通过生成连续值的数据点。为此，它们依赖于对原始数据分布的渐进式高斯平滑，这等价于一个涉及标准布朗运动增量的 SDE 解释。然而，诸如文本生成或强化学习等某些应用可能天然更适合对类别值数据进行扩散，即将扩散提升至概率分布空间。为此，本篇简短的理论笔记提出了 Simplex Diffusion，一种直接对位于 n 维概率单纯形上的数据点进行扩散的方法。我们展示了其如何与单纯形上的 Dirichlet 分布相关联，以及如何借助多维 Cox-Ingersoll-Ross 过程（缩写为 CIR，先前用于经济学和数学金融）来实现类似的 SDE。最后，我们对 CIR 过程轨迹的数值实现作出了说明，并讨论了我们方法的一些局限性。
引用
@article{arxiv.2210.14784,
title = {Categorical SDEs with Simplex Diffusion},
author = {Pierre H. Richemond and Sander Dieleman and Arnaud Doucet},
journal= {arXiv preprint arXiv:2210.14784},
year = {2022}
}