深度神经网络初始化与激活函数的选取研究

深度神经网络的权重初始化与激活函数对训练过程的性能有着至关重要的影响。不恰当的选取会导致输入信息在前向传播中丢失，以及梯度在反向传播中呈指数级消失或爆炸。理解未训练随机网络的理论性质是识别哪些深度网络可被成功训练的关键，正如 Schoenholz 等人 (2017) 最近所证明的：对于深度前馈神经网络，只有被称为“混沌边缘”的特定超参数选择才能带来良好性能。我们通过提供定量结果来完善这一分析，表明对于一类类 ReLU 激活函数，信息在混沌边缘初始化时确实传播得更深。通过进一步扩展该分析，我们确定了一类能够改善相比类 ReLU 函数信息传播的激活函数。该类包含 Hendrycks & Gimpel (2016)、Elfwing 等人 (2017) 和 Ramachandran 等人 (2017) 中使用的 Swish 激活 $\phi_{swish}(x) = x \cdot \text{sigmoid}(x)$。这为这些工作中观察到的 $\phi_{swish}$ 优异经验性能提供了理论依据。我们通过阐明在此情形下使用混沌边缘随机初始化的益处，补充了这些先前的结果。