如何训练你的神经 ODE：雅可比与动力学正则化的世界
机器学习
2020-06-24 v3 机器学习
摘要
由于在大型数据集上训练神经 ODE 需要让自适应数值 ODE 求解器将其步长细化到非常小的值，因此一直难以实现。在实践中，这导致等价于数百甚至数千层的动力学。在本文中，我们克服了这一明显困难，引入了一种基于理论支撑的最优传输与稳定性正则化组合，鼓励神经 ODE 在所有能良好解决问题的动力学中偏好更简单的动力学。更简单的动力学带来更快的收敛和更少的求解器离散化，在不损失性能的情况下显著降低挂钟时间。我们的方法使我们能够以比未正则化动力学显著减少的训练时间，将基于神经 ODE 的生成模型训练到相同的性能。这使神经 ODE 更接近于大规模应用中的实际相关性。
引用
@article{arxiv.2002.02798,
title = {How to train your neural ODE: the world of Jacobian and kinetic regularization},
author = {Chris Finlay and Jörn-Henrik Jacobsen and Levon Nurbekyan and Adam M Oberman},
journal= {arXiv preprint arXiv:2002.02798},
year = {2020}
}
备注
Accepted to ICML 2020