中文

一致性模型的收敛性保证

数值分析 2023-08-23 v1 人工智能 数值分析 偏微分方程分析 概率论

摘要

我们为一类新兴的单步生成模型——一致性模型(CMs)提供了首个收敛性保证,该类模型可生成与扩散模型相媲美的样本。我们的主要结果是,在对得分匹配误差、一致性误差及数据分布光滑性的基本假设下,CMs能够以较小的W2W_2误差单步高效地从任意真实数据分布中采样。我们的结果(1)对L2L^2精度的得分与一致性假设(而非LL^\infty精度)成立;(2)不要求如对数Sobolev不等式等针对数据分布的强假设;(3)在所有参数上呈多项式缩放;且(4)与基于得分的生成模型(SGMs)的当前最优收敛性保证相匹配。我们还给出结果:多步一致性采样过程相较单步采样可进一步降低误差,这支持了“Consistency Models, Yang Song 2023”中的原始陈述。我们的结果进一步意味着,当对输出分布施加某些基于Langevin的修正时,可得到TV误差保证。

关键词

引用

@article{arxiv.2308.11449,
  title  = {Convergence guarantee for consistency models},
  author = {Junlong Lyu and Zhitang Chen and Shoubo Feng},
  journal= {arXiv preprint arXiv:2308.11449},
  year   = {2023}
}

备注

20 pages, 1 figures