深度神经网络中的内部噪声：深度、神经元数量与噪声注入步骤的相互作用

本文研究了内部高斯噪声对深度前馈神经网络性能的影响，重点关注噪声注入阶段相对于激活函数的作用。分析了两种场景：在激活函数之前和之后引入噪声，分别针对加性噪声和乘性噪声的影响。激活函数前的噪声类似于神经元输入通道中的扰动，而激活函数后的噪声则类似于神经元内部或其输出通道中发生的噪声。噪声类型及其引入方法受模拟神经网络的启发。结果表明，激活函数充当了有效的非线性噪声滤波器。在激活函数前引入噪声的网络，其准确率始终高于在激活函数后施加噪声的网络，且在这种情况下加性噪声被更有效地抑制。对于激活函数后引入的噪声，乘性噪声的危害小于加性噪声，并且由于后续权重矩阵的统计特性导致的累积噪声放大，较早的隐藏层对性能下降的贡献更大。研究还表明，当噪声在激活函数前后引入时，基于池化的降噪方法在两种情况下均有效，能持续提升网络性能。