中文

基于分数的生成模型可证明鲁棒:一个不确定性量化视角

机器学习 2024-05-27 v1 机器学习 统计理论 统计理论

摘要

通过不确定性量化(UQ)视角,我们展示了基于分数的生成模型(SGM)对实际实现中的多种误差源具有可证明的鲁棒性。我们的主要工具是Wasserstein不确定性传播(WUP)定理,一个模型形式UQ界,描述了学习分数函数的L2L^2误差如何在Fokker-Planck方程演化下传播到真实数据分布周围的Wasserstein-1(d1\mathbf{d}_1)球。我们展示了由于(a)有限样本近似、(b)提前停止、(c)分数匹配目标选择、(d)分数函数参数化表达能力以及(e)参考分布选择引起的误差如何以可计算量的d1\mathbf{d}_1界影响生成模型的质量。WUP定理依赖于Hamilton-Jacobi-Bellman偏微分方程(PDE)的Bernstein估计和扩散过程的正则化性质。具体来说,PDE正则性理论表明随机性是确保SGM算法可证明鲁棒的关键机制。WUP定理适用于d1\mathbf{d}_1之外的积分概率度量,如总变差距离和最大均值差异。d1\mathbf{d}_1中的样本复杂度和泛化界直接来自WUP定理。我们的方法需要最少的假设,与流形假设无关,并避免了对目标分布的绝对连续性假设。此外,我们的结果阐明了SGM中多个误差源之间的权衡。

关键词

引用

@article{arxiv.2405.15754,
  title  = {Score-based generative models are provably robust: an uncertainty quantification perspective},
  author = {Nikiforos Mimikos-Stamatopoulos and Benjamin J. Zhang and Markos A. Katsoulakis},
  journal= {arXiv preprint arXiv:2405.15754},
  year   = {2024}
}