中文

基于 KDE 近似散度的 Wasserstein 梯度流漂移:生成模型

机器学习 2026-03-12 v1 人工智能

摘要

我们揭示了关于一种新型生成模型家族的精确数学框架,称为 Gradient Flow Drifting。通过该框架,我们证明了最近提出的 Drifting Model (arXiv:2602.04770) 等价于在核密度估计 (KDE) 近似下的 KL 发散 Wasserstein 梯度流。具体而言,我们证明 Drifting Model 的漂移场等于(在带宽平方比例因子缩放后)KDE 对数密度梯度之差 logpkdelogqkde\nabla \log p_{\mathrm{kde}} - \nabla \log q_{\mathrm{kde}},这正是 Wasserstein-2 KL(qpq\|p) 梯度流的粒子速度场,在 KDE 近似密度下。此外,这一广泛的生成模型家族还可包含 MMD-based 生成器,这些生成器可视为不同散度在 KDE 近似下的 Wasserstein 梯度流的特例。我们提供了简洁的可辨识性证明,并提出了在理论上有据可依的混合散度策略。我们将 reverse KL 与 χ2\chi^2 发散梯度流组合,以同时避免模式坍缩和模式模糊,并将该方法扩展到黎曼流形,以松弛核函数的约束,使该方法更适用于语义空间。在合成基准上的初步实验验证了该框架。

关键词

引用

@article{arxiv.2603.10592,
  title  = {Gradient Flow Drifting: Generative Modeling via Wasserstein Gradient Flows of KDE-Approximated Divergences},
  author = {Jiarui Cao and Zixuan Wei and Yuxin Liu},
  journal= {arXiv preprint arXiv:2603.10592},
  year   = {2026}
}