利用粘性Hamilton-Jacobi偏微分方程进行科学机器学习中的不确定性量化
机器学习
2024-04-16 v1 机器学习
摘要
科学机器学习中的不确定性量化将科学机器学习的强大预测能力与量化所学模型可靠性的方法相结合。然而，仍存在两大挑战：有限的可解释性和昂贵的训练过程。我们通过在科学机器学习中出现的某些贝叶斯推理问题与粘性Hamilton-Jacobi偏微分方程之间建立新的理论联系，为不确定性量化问题提供了一种新的解释。即，我们证明了后验均值和协方差可以从粘性Hamilton-Jacobi偏微分方程解的空间梯度和Hessian矩阵中恢复。作为对这种联系的首次探索，我们专门研究具有线性模型、高斯似然和高斯先验的贝叶斯推理问题。在这种情况下，相关的粘性Hamilton-Jacobi偏微分方程可以使用Riccati常微分方程求解，并且我们开发了一种新的基于Riccati的方法，该方法在连续更新模型预测时提供了计算优势。具体来说，我们基于Riccati的方法可以高效地向训练集中添加或移除数据点，且不受数据顺序的影响，并能持续调整超参数。此外，这两种更新都不需要重新训练或访问先前纳入的数据。我们提供了几个来自科学机器学习、涉及噪声数据和认知不确定性的例子，以说明我们方法的潜在优势。特别是，这种方法对数据流应用的适应性展示了其进行实时推理的潜力，这反过来又允许应用预测的不确定性来动态改变学习过程。
引用
@article{arxiv.2404.08809,
title = {Leveraging viscous Hamilton-Jacobi PDEs for uncertainty quantification in scientific machine learning},
author = {Zongren Zou and Tingwei Meng and Paula Chen and Jérôme Darbon and George Em Karniadakis},
journal= {arXiv preprint arXiv:2404.08809},
year = {2024}
}