中文

变量的得分变换

机器学习 2025-02-25 v3 人工智能 概率论

摘要

我们推导了得分函数的一般变量变换公式,证明对于光滑可逆变换 y=ϕ(x)\mathbf{y} = \phi(\mathbf{x}),变换后的得分函数 ylogq(y)\nabla_{\mathbf{y}} \log q(\mathbf{y}) 可以直接用 xlogp(x)\nabla_{\mathbf{x}} \log p(\mathbf{x}) 来表示。利用这一结果,我们发展了两个应用:第一,我们建立了基于得分的扩散模型的反向时间 Itô 引理,允许使用 xlogpt(x)\nabla_{\mathbf{x}} \log p_t(\mathbf{x}) 在变换空间中反向 SDE,而无需直接学习 ylogqt(y)\nabla_{\mathbf{y}} \log q_t(\mathbf{y})。该方法使得在一个空间中训练扩散模型而在另一个空间中采样成为可能,有效地解耦了前向和反向过程。第二,我们引入了广义切片得分匹配,将传统切片得分匹配从线性投影扩展到任意光滑变换。这为高维密度估计提供了更大的灵活性。我们通过概率单纯形上的扩散应用展示了这些理论进展,并在经验上将我们的广义得分匹配方法与传统的切片得分匹配方法进行了比较。

关键词

引用

@article{arxiv.2412.07904,
  title  = {Score Change of Variables},
  author = {Stephen Robbins},
  journal= {arXiv preprint arXiv:2412.07904},
  year   = {2025}
}

备注

27 pages, 6 figures