残差网络的动态等距初始化

神经网络的训练成功率、训练速度与泛化能力关键依赖于随机参数初始化的选择。已有研究表明，对于多种架构，初始动态等距尤为有利。然而，已知的残差块初始化方案缺乏这一性质，并在不使用批归一化时随深度增加出现不同输入可分离性退化和不稳定性，或缺乏特征多样性。我们提出一种随机初始化方案 RISOTTO，即使对于有限深度和宽度，也能为带 ReLU 激活函数的残差网络实现完美的动态等距。它与其他方案不同，平衡了残差分支与跳跃分支的贡献，而后者最初偏向跳跃连接。在实验中，我们证明在大多数情况下，我们的方法优于为使批归一化变得不必要而提出的初始化方案，包括 Fixup 和 SkipInit，并促进了稳定训练。即使与批归一化结合使用，我们也发现 RISOTTO 常取得总体最佳结果。