前馈神经网络模型中的不确定性传播

我们发展了用于带有漏 ReLU激活函数的前馈神经网络架构的新型不确定性传播方法，受随机输入向量扰动的影响。在 particular，我们推导了神经网络输出概率密度函数（PDF）及其统计矩的数值表达式，作为输入不确定性和网络参数（即权重和偏置）函数。一个关键发现是，漏 ReLU激活函数的适当线性化即使在输入向量的大幅扰动下也能获得准确的统计结果。这可以归因于信息如何通过网络传播。我们还提出了新的可解析的高斯 copula surrogate模型来近似神经网络输出的完整联合PDF。为验证我们的理论结果，我们进行蒙特卡罗模拟，并对代表由两个多项式函数空间之间非线性积分算子的多层神经网络进行深入的误差分析。我们的发现表明，理论预测与蒙特卡罗模拟之间存在良好的一致性。