基于凝聚 Stein 变分梯度下降的神经网络不确定性量化
机器学习
2024-12-24 v1 计算物理
机器学习
摘要
我们提出一种 Stein 变分梯度下降方法，用于同时稀疏化、训练神经网络等复杂参数化模型，并提供参数的不确定性量化。该方法采用图谱校准与凝聚过程，以降低复杂度并增加 Stein ensemble 中参数化模型的相似性。因此，提出的凝聚 Stein 变分梯度 (cSVGD) 方法可对参数进行不确定性量化，而不仅限于输出结果。此外，参数降维通过减少参数敏感性的组合复杂度而加快 Stein 梯度下降的收敛速度，这些特性通过一个示例性案例以及在固体力学中的表示问题应用进行了展示。
关键词
引用
@article{arxiv.2412.16462,
title = {Condensed Stein Variational Gradient Descent for Uncertainty Quantification of Neural Networks},
author = {Govinda Anantha Padmanabha and Cosmin Safta and Nikolaos Bouklas and Reese E. Jones},
journal= {arXiv preprint arXiv:2412.16462},
year = {2024}
}
备注
18 pages, 13 figures