关于调整神经ODE以实现稳定性、一致性和更快收敛

神经ODE使用连续深度神经网络参数化微分方程，并使用数值ODE积分器求解。与具有离散隐藏层序列的模型相比，这些模型提供恒定的内存成本，而离散隐藏层模型的内存成本随层数线性增加。除了内存效率之外，神经ODE的其他优点包括评估方法对输入的适应性，以及选择数值精度或快速训练的灵活性。然而，尽管有这些优点，它仍然存在一些局限性。我们确定ODE积分器（也称为ODE求解器）是链条中最薄弱的环节，因为它可能存在稳定性、一致性和收敛性（CCS）问题，并且可能收敛较慢或根本不收敛。我们提出了一种基于一阶Nesterov加速梯度（NAG）的ODE求解器，该求解器被证明相对于CCS条件进行了调整。我们通过实验证明了我们方法的有效性，在包括监督分类、密度估计和时间序列建模在内的三个不同任务中，与使用其他固定步长显式ODE求解器的神经ODE以及离散深度模型（如ResNet）相比，我们的方法训练更快，同时实现了更好或相当的性能。