变分贝叶斯神经网络性能对超参数的敏感性

在科学应用中，如果没有准确的不确定性量化（UQ）来指示模型何时可能在外推或何时需要收集更多数据，预测建模往往用途有限。贝叶斯神经网络（BNNs）通过传播神经网络（NN）权重中的不确定性来产生预测不确定性，并有望不仅获得准确的预测模型，还能获得准确的 UQ。然而，在实践中，由于实际模型训练中使用的近似以及需要选择合适的超参数集合，获得准确的 UQ 十分困难；这些超参数比传统神经网络所需的更多，且对结果的影响往往不透明。我们旨在通过在不同超参数设置下对 BNN 性能进行全局灵敏度分析，揭示超参数选择对 BNN 的影响。我们的结果表明，许多超参数相互作用，同时影响预测准确性和 UQ。为了在现实应用中更好地使用 BNNs，我们建议使用全局灵敏度分析或贝叶斯优化等相关方法来辅助降维和超参数选择，以确保 BNNs 中准确的 UQ。