基于分数的生成模型可证明鲁棒:一个不确定性量化视角
机器学习
2024-05-27 v1 机器学习
统计理论
统计理论
摘要
通过不确定性量化(UQ)视角,我们展示了基于分数的生成模型(SGM)对实际实现中的多种误差源具有可证明的鲁棒性。我们的主要工具是Wasserstein不确定性传播(WUP)定理,一个模型形式UQ界,描述了学习分数函数的误差如何在Fokker-Planck方程演化下传播到真实数据分布周围的Wasserstein-1()球。我们展示了由于(a)有限样本近似、(b)提前停止、(c)分数匹配目标选择、(d)分数函数参数化表达能力以及(e)参考分布选择引起的误差如何以可计算量的界影响生成模型的质量。WUP定理依赖于Hamilton-Jacobi-Bellman偏微分方程(PDE)的Bernstein估计和扩散过程的正则化性质。具体来说,PDE正则性理论表明随机性是确保SGM算法可证明鲁棒的关键机制。WUP定理适用于之外的积分概率度量,如总变差距离和最大均值差异。中的样本复杂度和泛化界直接来自WUP定理。我们的方法需要最少的假设,与流形假设无关,并避免了对目标分布的绝对连续性假设。此外,我们的结果阐明了SGM中多个误差源之间的权衡。
引用
@article{arxiv.2405.15754,
title = {Score-based generative models are provably robust: an uncertainty quantification perspective},
author = {Nikiforos Mimikos-Stamatopoulos and Benjamin J. Zhang and Markos A. Katsoulakis},
journal= {arXiv preprint arXiv:2405.15754},
year = {2024}
}