通过对受物理约束的神经网络模型进行极端稀疏化来提高Stein变分推断的性能

Govinda Anantha Padmanabha; Jan Niklas Fuhg; Cosmin Safta; Reese E. Jones; Nikolaos Bouklas

通过对受物理约束的神经网络模型进行极端稀疏化来提高Stein变分推断的性能

机器学习 2024-07-02 v1 计算工程、金融与科学

作者: Govinda Anantha Padmanabha , Jan Niklas Fuhg , Cosmin Safta , Reese E. Jones , Nikolaos Bouklas

摘要

大多数科学机器学习(SciML)应用的神经网络涉及数百至数千个参数，因此该方法的不确定性定量受到了维度灾难的困扰。使用物理应用，我们展示了在Stein变分梯度下降( $L_0$ 稀疏化)之前进行 $L_0$ 稀疏化( $L_0$ +SVGD)是一种更稳健且更高效的不确定性定量方式，相较于直接应用SVGD或投影SVGD方法在计算成本和性能方面都更优。具体而言， $L_0$ +SVGD在抗噪能力、在外推区域的表现以及对最优解的收敛速度方面均表现出优越性。

关键词

Stein变分推断神经网络稀疏化不确定性定量 SVGD 物理约束

引用

@article{arxiv.2407.00761,
  title  = {Improving the performance of Stein variational inference through extreme sparsification of physically-constrained neural network models},
  author = {Govinda Anantha Padmanabha and Jan Niklas Fuhg and Cosmin Safta and Reese E. Jones and Nikolaos Bouklas},
  journal= {arXiv preprint arXiv:2407.00761},
  year   = {2024}
}

备注

30 pages, 11 figures

通过对受物理约束的神经网络模型进行极端稀疏化来提高Stein变分推断的性能

摘要

关键词

引用

备注

相关论文