中文

通过锚定集成赋予贝叶斯神经网络函数先验用于力学代理建模应用

机器学习 2025-01-03 v1 机器学习

摘要

近年来,神经网络(NN)在力学和材料建模应用的代理建模任务中变得越来越流行。虽然传统的NN是仅依赖数据学习输入-输出映射的确定性函数,但在贝叶斯框架内进行NN训练可以量化不确定性,特别是由训练数据不足引起的认知不确定性,并通过贝叶斯先验整合先验知识。然而,NN参数空间的高维度和非物理性,以及参数(NN权重)与预测输出之间的复杂关系,使得先验设计和后验推断都具有挑战性。在这项工作中,我们提出了一种基于锚定集成的新型BNN训练方案,该方案可以整合函数空间中可用的先验信息,例如来自低保真度模型的信息。锚定方案利用了NN参数之间的低秩相关性,这些相关性是通过对函数先验的实现进行预训练学习到的。我们还进行了一项研究,以证明NN权重之间的相关性(这在现有的BNN实现中经常被忽略)对于在函数空间和参数空间先验之间适当传递知识至关重要。我们首先在一个小型一维示例上研究了我们新颖的BNN算法的性能,以说明该算法在插值和外推设置中的行为。然后,在一个多输入-输出材料代理建模示例上进行了全面评估,我们展示了该算法在分布内和分布外数据上的准确性和不确定性估计质量方面的能力。

关键词

引用

@article{arxiv.2409.05234,
  title  = {Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications},
  author = {Javad Ghorbanian and Nicholas Casaprima and Audrey Olivier},
  journal= {arXiv preprint arXiv:2409.05234},
  year   = {2025}
}

备注

24 pages, 14 figures