Taylor-Lagrange 神经常微分方程：面向神经 ODE 的快速训练与评估
机器学习
2023-01-02 v2
摘要
神经常微分方程 (NODEs)——使用神经网络对微分方程进行参数化——在从数据学习未知连续时间动力系统模型方面展现出巨大潜力。然而，每次 NODE 的前向评估都需对用于捕捉系统动力学的神经网络进行数值积分，使其训练成本高得令人却步。现有工作依赖现成的自适应步长数值积分方案，往往需对底层动力学网络进行过多次数的评估，方能获得足以用于训练的精度。相比之下，我们通过提出一种数据驱动的数值积分方法来加速 NODE 的评估与训练。所提 Taylor-Lagrange NODEs (TL-NODEs) 采用固定阶 Taylor 展开进行数值积分，同时学习估计展开的近似误差。结果表明，该方法在仅使用低阶 Taylor 展开的情况下即可达到与自适应步长方案相同的精度，从而大幅降低积分 NODE 所需的计算成本。一系列数值实验，包括动力学系统建模、图像分类与密度估计，表明 TL-NODEs 可比最先进方法快一个数量级以上完成训练，且性能无任何损失。
引用
@article{arxiv.2201.05715,
title = {Taylor-Lagrange Neural Ordinary Differential Equations: Toward Fast Training and Evaluation of Neural ODEs},
author = {Franck Djeumou and Cyrus Neary and Eric Goubault and Sylvie Putot and Ufuk Topcu},
journal= {arXiv preprint arXiv:2201.05715},
year = {2023}
}
备注
Final submission IJCAI 2022