神经常微分方程中的不确定性与结构
机器学习
2023-05-23 v1
摘要
神经常微分方程(ODE)是一类新兴的用于动力系统的深度学习模型。它们对于从观测轨迹中学习 ODE 向量场（即反问题）尤为有用。本文考虑这些模型中与在科学与工程中的应用相关的若干方面。科学预测通常需要结构化的不确定性估计。作为首要贡献，我们表明基础的轻量级贝叶斯深度学习技术（如拉普拉斯近似）可应用于神经 ODE，以产生结构化且有意义的不确定性量化。但在科学领域，可用信息常超越原始轨迹，还包括机理知识，例如以守恒定律的形式。我们探究机理知识与不确定性量化如何在两个近期提出的神经 ODE 框架——辛神经 ODE 与由神经 ODE 增强的物理模型——上相互作用。特别地，不确定性比训练模型的预测能力更直接地反映机理信息的影响。反之亦然，结构可提升神经 ODE 的外推能力，这一事实可通过不确定性估计在实践中最佳地评估。我们的实验分析证明了拉普拉斯方法在低维 ODE 问题和高维偏微分方程上的有效性。
引用
@article{arxiv.2305.13290,
title = {Uncertainty and Structure in Neural Ordinary Differential Equations},
author = {Katharina Ott and Michael Tiemann and Philipp Hennig},
journal= {arXiv preprint arXiv:2305.13290},
year = {2023}
}