用于生成式建模的序列流拉直
机器学习
2024-02-16 v2 计算机视觉与模式识别
机器学习
摘要
拉直连续时间生成模型(如扩散模型或基于流的模型)的概率流是通过数值求解器实现快速采样的关键,现有方法通过直接生成噪声分布和数据分布之间联合分布的概率路径来学习线性路径。模拟这些生成模型的基于 ODE 的求解器采样速度慢的一个关键原因是 ODE 求解器的全局截断误差,这是由 ODE 轨迹的高曲率引起的,它在低 NFE 区域会使得数值求解器的截断误差爆炸。为了应对这一挑战,我们提出了一种名为 SeqRF 的新方法,这是一种拉直概率流以减少全局截断误差,从而实现加速采样并提高合成质量的学习技术。在理论和实证研究中,我们首先观察到了 SeqRF 的拉直特性。通过 SeqRF 在基于流的生成模型上的实证评估,我们在 CIFAR-10、CelebA- 和 LSUN-Church 数据集上取得了超越性的结果。
引用
@article{arxiv.2402.06461,
title = {Sequential Flow Straightening for Generative Modeling},
author = {Jongmin Yoon and Juho Lee},
journal= {arXiv preprint arXiv:2402.06461},
year = {2024}
}
备注
21 pages, 13 figures