NeuralODE基于Runge-Kutta时间积分的数值与统计分析

NeuralODE是基于简单源测度通过双射映射推进得到的生成式机器学习方法的一个例子，其中NeuralODE通过常微分方程的流动给出该双射映射。在Liouville公式的帮助下，推进测度的对数密度易于计算，因此可以基于最大似然方法训练NeuralODE，以使通过流图对推进测度的Kullback-Leibler散度与目标测度（生成数据）之间的差距变小。在本文中，我们对基于最大似然方法的经验风险最小化对于一般目标测度类的一致性进行了详细阐述。与先前工作不同，我们不仅考虑统计学习理论，还对基于二阶Runge-Kutta（RK）时间积分的NeuralODE算法进行了详细的数值分析。利用深度ReQU网络的通用逼近理论，结合RK方案的稳定性和收敛率以及度量熵和浓度不等式，我们能够证明NeuralODE是一个概率近似正确（PAC）学习算法。