最小化基于 ODE 的生成模型的轨迹曲率
机器学习
2023-05-26 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
近年的基于 ODE/SDE 的生成模型，如扩散模型、修正流（rectified flows）与流匹配（flow matching），将生成过程定义为固定前向过程的时间反演。尽管这些模型在大规模数据集上表现出色，数值模拟需要多次评估神经网络，导致采样速度缓慢。我们将此归因于所学生成轨迹的高曲率，因其与数值求解器的截断误差直接相关。基于前向过程与曲率之间的关系，我们提出一种高效方法，在不进行任何 ODE/SDE 模拟的情况下训练前向过程以最小化生成轨迹的曲率。实验表明，我们的方法比先前模型获得更低曲率，从而在不损失竞争性能的前提下降低采样开销。代码见 https://github.com/sangyun884/fast-ode。
引用
@article{arxiv.2301.12003,
title = {Minimizing Trajectory Curvature of ODE-based Generative Models},
author = {Sangyun Lee and Beomsu Kim and Jong Chul Ye},
journal= {arXiv preprint arXiv:2301.12003},
year = {2023}
}
备注
ICML 2023