扩散生成模型确定性采样动力学中的几何规律
机器学习
2025-12-12 v3 统计力学
计算机视觉与模式识别
机器学习
摘要
扩散生成模型使用随机微分方程（SDEs）及其等价概率流常微分方程（ODEs）在复杂的高维数据分布和可计算的先验分布之间建立平滑的转换。在本文中，我们揭示了扩散生成模型确定性采样动力学中的惊人几何规律：沿梯度场的每个模拟采样轨迹都位于极低维子空间内，所有轨迹几乎呈相同的“回转”形状，无论是模型架构、应用条件还是生成内容如何。我们描述了这些轨迹的几个有趣性质，特别是基于基于核估计数据建模的闭形式解。我们还演示了通过发现的轨迹规律性质提出的实际应用，通过动力学规划来更好地将采样时间计划与底层轨迹结构对齐。这种简单策略对现有的确定性数值求解器几乎没有任何修改，计算开销可忽略不计，尤其在只有 5-10 次函数评估的区域，实现了卓越的图像生成性能。
引用
@article{arxiv.2506.10177,
title = {Geometric Regularity in Deterministic Sampling Dynamics of Diffusion-based Generative Models},
author = {Defang Chen and Zhenyu Zhou and Can Wang and Siwei Lyu},
journal= {arXiv preprint arXiv:2506.10177},
year = {2025}
}
备注
57 pages. Accepted by Journal of Statistical Mechanics: Theory and Experiment (2025). The short version was published in ICML 2024. arXiv admin note: text overlap with arXiv:2405.11326