面向神经网络和神经算子贝叶斯推断的哈密顿蒙特卡rization 加速
机器学习
2025-09-11 v2 计算工程、金融与科学
机器学习
数据分析、统计与概率
摘要
哈密顿蒙特卡rization (HMC) 是一种强大且精准的采样方法，用于贝叶斯推断中的后验分布。然而，由于神经网络参数空间的高维性和后验分布的非凸性，HMC 技术在贝叶斯神经网络中计算负担沉重。因此，常采用变分推断 (VI) 或随机梯度 MCMC 等近似技术来推断网络参数的后验分布。此类近似方法会引入不确定性，导致推断分布不够可靠。本文提出一种混合方法，结合低成本的 VI 和精准的 HMC 方法，高效且准确地量化神经网络和神经算子中的不确定性。该方法利用完整网络上的初始 VI 训练，分析各参数对预测不确定性的影响，发现大量参数对网络预测的不确定性贡献不大。将此信息用于显著降低参数空间维度，仅对强烈影响预测不确定性的网络参数子集执行 HMC，从而构建加速神经网络后验推断的框架。我们在深度神经网络和算子网络上验证了该框架的高效性和准确性，表明可对拥有数万至数十万参数的大型网络进行推断。我们展示了该方法可通过建模上游条件到热衝击飞行锥面壁压数据的算子，从而有效学习复杂物理系统的替代模型。
引用
@article{arxiv.2507.14652,
title = {Accelerating Hamiltonian Monte Carlo for Bayesian Inference in Neural Networks and Neural Operators},
author = {Ponkrshnan Thiagarajan and Tamer A. Zaki and Michael D. Shields},
journal= {arXiv preprint arXiv:2507.14652},
year = {2025}
}