LyaNet：一种用于训练神经常微分方程的李雅普诺夫框架
机器学习
2022-02-08 v1 人工智能
摘要
我们提出一种利用控制理论中的李雅普诺夫稳定性条件来训练常微分方程的方法。我们的方法称为 LyaNet，基于一种新颖的李雅普诺夫损失形式，其鼓励推理动力学快速收敛到正确预测。在理论上，我们证明最小化李雅普诺夫损失可保证指数收敛到正确解，并带来一种新颖的鲁棒性保证。我们还提供了实用算法，其中一种避免了通过求解器反向传播或使用伴随方法的开销。相对于标准神经 ODE 训练，我们经验性地发现 LyaNet 能够提供更优的预测性能、更快的推理动力学收敛以及改进的对抗鲁棒性。我们的代码可在 https://github.com/ivandariojr/LyapunovLearning 获取。
引用
@article{arxiv.2202.02526,
title = {LyaNet: A Lyapunov Framework for Training Neural ODEs},
author = {Ivan Dario Jimenez Rodriguez and Aaron D. Ames and Yisong Yue},
journal= {arXiv preprint arXiv:2202.02526},
year = {2022}
}