ANODEV2：一种耦合神经常微分方程演化框架
机器学习
2021-04-21 v1 机器学习
摘要
已有观察表明，残差网络可被视为常微分方程（Ordinary Differential Equation, ODE）的显式欧拉离散化。这一观察推动了所谓神经常微分方程（Neural ODEs）的引入，其允许采用更通用的离散化方案并具有自适应时间步长。在此，我们提出ANODEV2，它是该方法的一种扩展，在基于耦合ODE的公式中同时允许神经网络参数的演化。早先引入的Neural ODE方法实际上是这一更通用新框架的特例。我们给出了ANODEV2的公式表述，推导了最优性条件，并在PyTorch中实现了该框架的一个耦合反应-扩散-对流版本。我们展示了使用几种不同ANODEV2配置的实验结果，在CIFAR-10上对多个模型进行了测试。我们报告的结果表明，这种基于耦合ODE的框架确实可训练，并且与基线模型以及近期提出的Neural ODE方法相比，达到了更高的准确率。
引用
@article{arxiv.1906.04596,
title = {ANODEV2: A Coupled Neural ODE Evolution Framework},
author = {Tianjun Zhang and Zhewei Yao and Amir Gholami and Kurt Keutzer and Joseph Gonzalez and George Biros and Michael Mahoney},
journal= {arXiv preprint arXiv:1906.04596},
year = {2021}
}