面向神经微分-代数方程组的同步训练方法
机器学习
2026-04-03 v2 系统与控制
系统与控制
摘要
科学机器学习是一种新兴领域，旨在将科学计算与机器学习结合，以解决科学与工程中的挑战。在微分方程的语境下，这产生了诸如神经普通微分方程（NODE）等具有影响力的方法。近期研究将此类研究延伸至神经微分-代数方程组（DAEs），其中学习来自数据的未知关系。类似地，神经 DAE 的训练计算成本高昂，因为每次参数更新都需要求解一个 DAE。此外，在常见的深度学习训练算法（如随机梯度下降）中，对代数约束的严格考虑比较困难。本文应用同步方法来解决神经 DAE 问题， resulting in a fully discretized nonlinear optimization problem, which is solved to local optimality and simultaneously obtains the neural network parameters and the solution to the corresponding DAE. 我们扩展了最近展示神经 ODE 同步方法的工作，通过提出通用框架来解决神经 DAE，明确考虑混合模型，其中 DAE 的一些组件是已知的，例如物理信息约束。此外，我们提出了一种通用策略，用于提高非线性规划求解器的性能和收敛性，基于求解初始化的辅助问题和近似 Hessian 项。我们在不同问题设置下（如稀疏数据、不可观测状态和多个轨迹）实现了在准确性、模型可泛性和计算成本方面的有前景的成果。最后，我们提供了若干有前景的未来方向，以提高该方法的可扩展性和鲁棒性。
引用
@article{arxiv.2504.04665,
title = {A Simultaneous Approach for Training Neural Differential-Algebraic Systems of Equations},
author = {Laurens R. Lueg and Victor Alves and Daniel Schicksnus and John R. Kitchin and Carl D. Laird and Lorenz T. Biegler},
journal= {arXiv preprint arXiv:2504.04665},
year = {2026}
}