学习概率分布的连续正则化流的收敛性
机器学习
2024-04-02 v1 机器学习
摘要
连续正则化流是一种基于常微分方程的学习概率分布的生成方法。该方法在包括大规模图像合成、蛋白质结构预测和分子生成在内的各种应用中取得了显著的经验成功。在本工作中,我们使用流匹配目标函数,研究了具有线性插值的连续正则化流从有限随机样本中学习概率分布的理论性质。我们以 Wasserstein-2 距离为度量,建立了基于连续正则化流的分布估计量的非渐近误差界。我们分析中的关键假设是目标分布满足以下三个条件之一:具有有界支撑、强对数凹,或是高斯分布的有限或无限混合。我们提出了一个收敛性分析框架,涵盖了速度估计误差、离散化误差和提前停止误差。我们分析的一个关键步骤涉及为具有线性插值的连续正则化流建立速度场及其估计量的正则性性质。这需要开发具有 Lipschitz 正则性控制的深度 ReLU 网络逼近 Lipschitz 函数类的一致误差界,这可能具有独立的意义。我们的非参数收敛性分析为使用连续正则化流从有限随机样本中学习概率分布提供了理论保证。
引用
@article{arxiv.2404.00551,
title = {Convergence of Continuous Normalizing Flows for Learning Probability Distributions},
author = {Yuan Gao and Jian Huang and Yuling Jiao and Shurong Zheng},
journal= {arXiv preprint arXiv:2404.00551},
year = {2024}
}
备注
60 pages, 3 tables, and 3 figures