重访批归一化初始化

批归一化（BN）由归一化组件及随后的仿射变换组成，已成为训练深度神经网络的关键。网络中每个BN的标准初始化将仿射变换的尺度与偏移分别设为1和0。然而，训练后我们观察到这些参数相较其初始化并未发生大幅改变。此外，我们注意到归一化过程仍可能产生过大数值，不利于训练。我们重访BN公式，提出一种新的BN初始化方法与更新策略以解决上述问题。实验设计旨在强调并展示恰当的BN尺度初始化对性能的积极影响，并使用严格的统计显著性检验进行评估。该方法可与现有实现配合使用，不产生额外计算成本。源代码见 https://github.com/osu-cvl/revisiting-bn-init。