内部噪声对卷积神经网络的影响

本文我们针对一个简化的训练卷积网络，探讨噪声的影响。所研究的噪声类型源于实际光学实现的神经网络，但我们将这些噪声类型推广到更广泛的范围以增强其适用性。所考虑的噪声类型包括加性噪声和乘性噪声，分别涉及噪声如何影响单个神经元；也包括相关噪声和不相关噪声，涉及噪声在网络各层之间的影响。我们证明，不相关噪声的传播主要取决于连接矩阵的统计特性。具体而言，受噪声影响的层之后的连接矩阵均值决定了相关加性噪声的传播，而其平方的均值有助于不相关噪声的累积。此外，我们提出了对网络输出信号噪声水平的分析评估，显示其与数值模拟结果之间存在强相关性。