超越高斯初始化：奇异 sigmoid 激活函数的信号保护权重初始化

激活函数在训练可塑性和表达性方面发挥关键作用，近期研究因此探索了广泛的非线性函数。然而，广泛使用的高斯 i.i.d. 初始化旨在保持宽或无限宽度假设下的激活方差。在深且相对狭窄的网络中使用 sigmoidal 非线性时，这些方案常导致 preactivation 进入饱和区，导致梯度崩溃。为此，我们引入了奇异 sigmoid 激活函数，并为此类函数中的任何函数设计了一种激活感知初始化。我们的方法在宽广的方差尺度范围内保持稳健，既保留前向信号方差，又保留反向传播的梯度范数，即使在非常深且狭窄的网络中亦然。经验上，我们在标准图像基准上发现，所提初始化在深度、宽度和激活尺度方面显著不像高斯初始化那样敏感。在物理信息神经网络 (PINNs) 中，结合我们提出的初始化使用缩放奇异 sigmoid 激活函数可实现更低的损失，表明当高斯初始化失效时，对角线加噪声权重提供了实用的替代方案。