深度神经网络预测不确定性的量化用于机器学习模型的VVUQ

近年来，人工智能（AI）和机器学习（ML）尤其是深度学习（DL）的性能突破，功能强大且易用的 ML 库（如 scikit-learn、TensorFlow、PyTorch）的可用性，以及计算能力的提升，引发了核工程师对 AI/ML 前所未有的兴趣。对于基于物理的计算模型，验证、确认与不确定性量化（VVUQ）已被广泛研究并发展出许多方法。然而，ML 模型的 VVUQ 研究相对较少，尤其在核工程领域。本文聚焦于 ML 模型 VVUQ 的初步环节——不确定性量化（UQ），更具体地，针对深度神经网络（DNNs），因其是最广泛用于回归与分类任务的监督式 ML 算法。本工作旨在量化 DNN 作为昂贵物理模型代理模型时的预测或近似不确定性。比较了三种 DNN 的 UQ 技术：蒙特卡洛丢弃（MCD）、深度集成（DE）和贝叶斯神经网络（BNNs）。使用两个核工程实例对这些方法进行基准测试：（1）基于 Bison 代码的随时间变化的裂变气体释放数据；（2）基于 BFBT 基准使用 TRACE 代码的空泡份额模拟。研究发现，这三种方法通常需要不同的 DNN 架构和超参数以优化性能。UQ 结果也取决于可用训练数据量及数据性质。总体而言，这三种方法均可提供合理的近似不确定性估计。当均值预测接近测试数据时不确定性通常较小，而 BNN 方法产生的不确定性一般大于 MCD 和 DE。