重球神经常微分方程
机器学习
2021-10-12 v1 人工智能
数值分析
动力系统
数值分析
摘要
我们提出重球神经常微分方程(HBNODEs)，利用经典动量加速梯度下降的连续极限，以改进神经 ODEs (NODEs) 的训练与推断。HBNODEs 具有两个优于 NODEs 的实用特性：(i) HBNODE 的伴随状态也满足一个 HBNODE，从而加速前向与反向 ODE 求解器，因此显著减少函数评估次数(NFEs)并提升训练模型的实用性。(ii) HBNODEs 的谱结构良好，能够有效从复杂序列数据中学习长期依赖。我们在基准任务上验证了 HBNODEs 相对于 NODEs 的优势，包括图像分类、复杂动力学学习和序列建模。我们的方法所需的向前与反向 NFEs 明显更少，比其它基于 ODE 的神经网络模型更准确，且能更有效地学习长期依赖。代码见 \url{https://github.com/hedixia/HeavyBallNODE}。
引用
@article{arxiv.2110.04840,
title = {Heavy Ball Neural Ordinary Differential Equations},
author = {Hedi Xia and Vai Suliafu and Hangjie Ji and Tan M. Nguyen and Andrea L. Bertozzi and Stanley J. Osher and Bao Wang},
journal= {arXiv preprint arXiv:2110.04840},
year = {2021}
}
备注
23 pages, 9 figures, Accepted for publication at Advances in Neural Information Processing Systems (NeurIPS) 2021