中文

温启动加速条件扩散

机器学习 2025-09-30 v2 计算机视觉与模式识别 机器学习

摘要

生成模型如扩散模型和流匹配模型通过逐步细化噪声来创建高保真样本。该细化过程极其缓慢,通常需要数百次函数评估。我们引入了温启动扩散 (Warm-Start Diffusion, WSD),一种方法通过提供更好的起始点来显著加速条件生成。我们的方法使用一个简单的确定性模型来提供更有信息的起始点。相比从未知的 N(0,I)N(\boldsymbol{0}, I) 先验开始,我们的确定性温启动模型预测出受输入上下文 CC 条件化的先验 N(μ^C,diag(σ^C2))N(\hat{\boldsymbol{\mu}}_C, \text{diag}(\hat{\boldsymbol{\sigma}}^2_C))。这种温启动显著减少了生成过程必须遍历的距离,因此减少了扩散步骤的数量,特别是在上下文 CC 高度信息性时。WSD 可应用于任何标准扩散或流匹配算法,与其他快速采样技术(如高效求解器)是正交且协同的,并且实施简单。我们在多种设置下测试了 WSD,发现它在高效采样 regime 中显著优于标准扩散模型,仅需 4-6 次函数评估即可生成逼真的样本,并在 10-12 次时达到性能饱和。

关键词

引用

@article{arxiv.2507.09212,
  title  = {Warm Starts Accelerate Conditional Diffusion},
  author = {Jonas Scholz and Richard E. Turner},
  journal= {arXiv preprint arXiv:2507.09212},
  year   = {2025}
}

备注

10 pages, 6 figures