Stein变分牛顿神经网络集成

深度神经网络集成是不确定性量化的强大工具，最近从贝叶斯视角被重新解读。然而，现有方法未能充分利用损失景观的二阶信息，尽管近期已有高效的Hessian近似方法。我们提出了一种新颖的近似贝叶斯推断方法，通过引入Stein变分牛顿更新来改进深度集成。我们的方法独特地整合了可扩展的现代Hessian近似，实现了更快的收敛和更准确的后验分布近似。我们在多样化的回归和分类任务上验证了方法的有效性，与现有集成方法相比，在显著减少训练轮次的情况下展现出优越性能，同时增强了不确定性量化和抗过拟合鲁棒性。