面向扩散采样器的端到端高斯混合先验学习
机器学习
2025-03-04 v1 人工智能
机器学习
摘要
通过变分推断（VI）优化的扩散模型已成为从未归一化目标密度生成样本的有前景的工具。这些模型通过模拟随机微分方程来创建样本，起始于一个简单且可计算的先验分布，通常为高斯分布。然而，当该先验的支持与目标分布相差甚远时，扩散模型往往难以有效探索或 suffer from 大量离散化误差。此外，学习先验分布可能导致模式崩溃，这由VI中常用的逆Kullback-Leibler散度的模式寻求性质加剧。为应对这些挑战，我们提出端到端可学习的高斯混合先验（GMP）。GMP提供了对探索的更好控制，适应目标支持，以及 increased 的表达性以抵消模式崩溃。我们进一步利用混合模型的结构，通过在训练期间添加混合组件来迭代细化模型。我们的实验结果表明，在无需额外目标评估的情况下，使用GMP在多样化的真实世界和合成基准问题上显著提升了性能。
引用
@article{arxiv.2503.00524,
title = {End-To-End Learning of Gaussian Mixture Priors for Diffusion Sampler},
author = {Denis Blessing and Xiaogang Jia and Gerhard Neumann},
journal= {arXiv preprint arXiv:2503.00524},
year = {2025}
}