利用高斯-勒让德求积加速神经 ODE 的训练
机器学习
2023-08-22 v1 数值分析
数值分析
机器学习
摘要
神经 ODE 在生成模型与时间序列建模中表现出强劲性能。然而，由于需要数值求解 ODE，通过伴随方法训练它们比离散模型更慢。加速神经 ODE 的常用方法是正则化解。但该方法可能影响模型的表达能力；当轨迹本身至关重要时，这一点尤为关键。本文提出一种加速神经 ODE 训练的替代方法。核心思想是利用高斯-勒让德（Gauß-Legendre）求积比基于 ODE 的方法更快地求解积分，同时保持内存高效，从而加速伴随方法。我们还将该思想借助 Wong-Zakai 定理推广到 SDE 的训练，即训练相应的 ODE 并迁移参数。我们的方法实现了神经 ODE 的更快训练，尤其对大型模型。它还提出了一种训练基于 SDE 的模型的新途径。
引用
@article{arxiv.2308.10644,
title = {Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature},
author = {Alexander Norcliffe and Marc Peter Deisenroth},
journal= {arXiv preprint arXiv:2308.10644},
year = {2023}
}
备注
32 pages, 16 figures, 7 tables, published in TMLR 2023