增强图神经ODE的归纳偏置以建模动力系统
机器学习
2024-06-18 v2 混沌动力学
摘要
具有基于物理的归纳偏置的神经网络，如拉格朗日神经网络(LNN)和哈密顿神经网络(HNN)，通过编码强归纳偏置来学习物理系统的动力学。或者，具有适当归纳偏置的Neural ODE也被证明可给出相似性能。然而，这些模型在应用于基于粒子的系统时本质上是转导式的，因此无法泛化到更大的系统规模。在本文中，我们提出一种基于图的神经ODE，即GNODE，以学习动力系统的时间演化。此外，我们仔细分析了不同归纳偏置对GNODE性能的作用。我们表明，类似于LNN和HNN，显式编码约束可显著提升GNODE的训练效率与性能。我们的实验还评估了额外归纳偏置(如牛顿第三定律)对模型最终性能的价值。我们证明，引入这些偏置可在能量违背和展开误差方面将模型性能提升数个数量级。有趣的是，我们观察到，采用最有效归纳偏置训练的GNODE(即MCGNODE)在能量违背误差上优于LNN和HNN的图版本，即拉格朗日图网络(LGN)和哈密顿图网络(HGN)：对于摆系统约优4个数量级，对于弹簧系统约优2个数量级。这些结果表明，对于基于NODE的系统，通过引入适当的归纳偏置，可获得与能量守恒神经网络相竞争的性能。
引用
@article{arxiv.2209.10740,
title = {Enhancing the Inductive Biases of Graph Neural ODE for Modeling Dynamical Systems},
author = {Suresh Bishnoi and Ravinder Bhattoo and Sayan Ranu and N. M. Anoop Krishnan},
journal= {arXiv preprint arXiv:2209.10740},
year = {2024}
}
备注
33 pages, 23 figures, Published as a conference paper at ICLR 2023