演化过程的图卷积神经网络模型的不确定性量化
机器学习
2025-02-04 v1 统计理论
计算物理
统计理论
摘要
近年来，神经网络模型在科学机器学习任务中的应用激增。特别是，神经网络模型已被证明非常擅长对具有时空复杂性的过程进行建模。然而，这些高度参数化的模型在感兴趣的区域上产生具有量化误差界限的输出的能力方面受到了质疑。因此，有必要寻找适用于神经网络的不确定性量化方法。在这项工作中，我们比较了使用 Hamiltonian Monte Carlo 和 Stein 变分梯度下降及其投影变体对建模复杂时空过程的神经网络进行参数不确定性量化的结果。具体而言，我们将这些方法应用于由循环神经网络和神经常微分方程架构建模的演化系统的图卷积神经网络模型。我们表明，Stein 变分推断是 Monte Carlo 方法的一个可行替代方案，对于复杂的神经网络模型具有一些明显的优势。对于我们的示例，Stein 变分推断给出了与 Hamiltonian Monte Carlo 相似的随时间变化的不确定性分布，尽管方差通常更大。投影 Stein 变分梯度下降也产生了与非投影对应方法相似的不确定性分布，但活跃权重空间的大幅减少受到了神经网络预测稳定性和复杂似然景观的干扰。
引用
@article{arxiv.2402.11179,
title = {Uncertainty Quantification of Graph Convolution Neural Network Models of Evolving Processes},
author = {Jeremiah Hauth and Cosmin Safta and Xun Huan and Ravi G. Patel and Reese E. Jones},
journal= {arXiv preprint arXiv:2402.11179},
year = {2025}
}
备注
27 pages, 20 figures