一致性模型的收敛性保证
数值分析
2023-08-23 v1 人工智能
数值分析
偏微分方程分析
概率论
摘要
我们为一类新兴的单步生成模型——一致性模型(CMs)提供了首个收敛性保证,该类模型可生成与扩散模型相媲美的样本。我们的主要结果是,在对得分匹配误差、一致性误差及数据分布光滑性的基本假设下,CMs能够以较小的误差单步高效地从任意真实数据分布中采样。我们的结果(1)对精度的得分与一致性假设(而非精度)成立;(2)不要求如对数Sobolev不等式等针对数据分布的强假设;(3)在所有参数上呈多项式缩放;且(4)与基于得分的生成模型(SGMs)的当前最优收敛性保证相匹配。我们还给出结果:多步一致性采样过程相较单步采样可进一步降低误差,这支持了“Consistency Models, Yang Song 2023”中的原始陈述。我们的结果进一步意味着,当对输出分布施加某些基于Langevin的修正时,可得到TV误差保证。
引用
@article{arxiv.2308.11449,
title = {Convergence guarantee for consistency models},
author = {Junlong Lyu and Zhitang Chen and Shoubo Feng},
journal= {arXiv preprint arXiv:2308.11449},
year = {2023}
}
备注
20 pages, 1 figures