用于加速神经 ODE 中梯度传播的差值技术
神经与进化计算
2020-11-03 v2 数值分析
数值分析
机器学习
摘要
我们提出一种基于简单插值的神经 ODE 模型梯度高效近似方法。我们将其与反向动态方法（文献中称为“adjoint method（伴随方法）”）进行比较，以在分类、密度估计与推断近似任务上训练神经 ODE。我们还利用对数范数形式给出了该方法的理论依据。结果表明，我们的方法比反向动态方法训练模型更快，这一点在多个标准基准的广泛数值实验中得到了确认与验证。
引用
@article{arxiv.2003.05271,
title = {Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs},
author = {Talgat Daulbaev and Alexandr Katrutsa and Larisa Markeeva and Julia Gusak and Andrzej Cichocki and Ivan Oseledets},
journal= {arXiv preprint arXiv:2003.05271},
year = {2020}
}