使用全离散化同时优化神经ODE
机器学习
2025-02-24 v1 最优化与控制
摘要
神经常微分方程(Neural ODEs)以神经网络表示连续时间动力学，为建模和控制任务提供了突破。然而，训练神经ODE需要在每个 epoch 中求解微分方程，这导致高计算成本。本文研究同时优化方法作为更快的训练替代方案。具体而言，我们采用基于互untos离散化 formulation 并使用IPOPT——一种用于大规模非线性优化的求解器——同时优化 collocation 系数和神经网络参数。以范德波尔振荡器为案例研究，我们展示了相对于传统训练方法的更快收敛速度。此外，我们引入一个分解框架，利用交替方向方法乘子(ADMM)有效地协调数据批次之间的子模型。我们的结果显示，在基于互untos(collocation-based)的同时神经ODE训练管道方面具有巨大的潜力。
关键词
引用
@article{arxiv.2502.15642,
title = {Training Neural ODEs Using Fully Discretized Simultaneous Optimization},
author = {Mariia Shapovalova and Calvin Tsay},
journal= {arXiv preprint arXiv:2502.15642},
year = {2025}
}
备注
Accepted to the 14th IFAC Symposium on Dynamics and Control of Process Systems, including Biosystems (DYCOPS 2025)