基于神经常微分方程的分布学习：最小能量正则化与近似理论

神经常微分方程(ODEs)提供了可用于近似复杂概率分布的可逆传输图的表达能力， e.g., 用于生成模型、密度估计和贝叶斯推断。我们表明，对于广泛的传输图 T，存在实现其位移的直线插值 $(1-t)x + tT(x)$, $t \in [0,1]$ 的时间依赖ODE速度场。此外，我们表明，这些速度场是包含特定最小能量正则化的训练目标的最小化器。随后，我们推导了速度场 $C^k$ 范数的显式上界，这些上界是对应传输图 $T$ $C^k$ 范数的多项式;在三角形(Knothe--Rosenblatt)图的情况下，我们还表明这些上界是相关源和目标密度 $C^k$ 范数的多项式。将这些结果与通过 ODEs 实现分布近似的稳定性论证相结合，我们表明，Wasserstein 或 Kullback--Leibler 近似可在任意精度 $\epsilon > 0$ 下实现，该精度由深度神经网络表示的速度场大小显式界定，具体取决于 $\epsilon$, 维数以及源和目标密度的光滑性。相同的神经网络 ansatz 也为正则化训练目标的值提供了保证。