生成流模型的定制求解器
机器学习
2023-10-31 v1 人工智能
计算机视觉与模式识别
摘要
扩散或基于流的模型是强大的生成范式，但因其样本被定义为高维常微分方程或随机微分方程（ODEs/SDEs）的解而 notoriously 难以采样，这些方程需要大量的函数评估次数（NFE）才能良好近似。现有缓解昂贵采样过程的方法包括模型蒸馏与设计专用ODE求解器。然而，蒸馏训练成本高且有时会损害质量，而专用求解器仍需要相对较大的NFE以生成高质量样本。在本文中，我们引入“Bespoke求解器”，一种为给定预训练流模型的ODE构建定制ODE求解器的新颖框架。我们的方法优化了一个阶数一致且参数高效的求解器（例如含80个可学习参数），训练所需GPU时间约为预训练模型的1%，并且相比专用求解器显著提升了近似与生成质量。例如，用于CIFAR10模型的Bespoke求解器以10 NFE生成Fréchet Inception Distance（FID）为2.73的样本，并以仅20 NFE达到该模型真实值（GT）FID（2.59）的1%以内。在更具挑战性的ImageNet-6464上，Bespoke以10 NFE采样达到2.2 FID，并以20 NFE达到GT FID（1.71）的2%以内。
引用
@article{arxiv.2310.19075,
title = {Bespoke Solvers for Generative Flow Models},
author = {Neta Shaul and Juan Perez and Ricky T. Q. Chen and Ali Thabet and Albert Pumarola and Yaron Lipman},
journal= {arXiv preprint arXiv:2310.19075},
year = {2023}
}