归位顺序的影响：从偏见初始化到中性初始化

归一化层虽然用于稳定和加速训练，但其影响在初始化阶段即至关重要，当时它们塑造信号传播和输出统计，尚未让参数适应数据。在实际操作中，人们往往依赖直觉选择归一化方式和放置位置，尽管这些决定会从根本上改变模型行为。我们对归一化方式及其位置（Pre-Norm 与 Post-Norm）如何决定初始化时类别预测分布进行了理论阐述，涵盖从无偏（中性）到高度集中（偏见） regimes 的情况。我们表明，这些架构决策会引起初始预测 regime 的系统性偏移，从而调制后续学习动力学。通过将归一化设计直接关联到初始化时的预测统计，我们的结果为更可控、可解释的网络设计提供原则性指导，阐明了诸如 BatchNorm 与 LayerNorm、Pre-Norm 与 Post-Norm 等常见选择如何从训练初期塑造行为。