Tanh 神经网络的鲁棒权重初始化：基于固定点分析

随着神经网络深度的增加，可以提高其泛化性能。然而，训练深层网络面临梯度和信号传播问题。为此，已引入大量理论研究和各种方法。尽管已有这些进展，但针对带有 tanh 激活函数的神经网络的有效权重初始化方法仍不足够被探讨。本文提出一种新的神经网络权重初始化方法，适用于具有 tanh 激活函数的网络。基于对函数 $\tanh(ax)$ 的固定点的分析，本方法旨在确定能够缓解激活饱和的 $a$ 的值。在各种分类数据集和物理感知神经网络上的一系列实验表明，所提方法在网络规模、数据效率和收敛速度方面均优于 Xavier 初始化方法（包括带或不带归一化）。代码可在 https://github.com/1HyunwooLee/Tanh-Init 查阅。