均值模式尖叫：用于 1000 层 Diffusion Transformer 的均值-方差分裂残差

将 Diffusion Transformer (DiT) 扩展至数百层会引入一种结构脆弱性：网络可能进入一种静默的、均值主导的崩溃状态，该状态使 token 表示同质化并抑制中心化变异。通过机制审计，我们将此崩溃的触发事件孤立为均值模式尖叫（MMS）。即使训练看似稳定，MMS 也可能发生，残差写入器上的均值相干后向冲击会打开深层残差分支并驱动网络进入均值主导状态。我们表明，此行为是由这些梯度向均值相干分量和中心化分量的精确分解所驱动的，并因数值同质化后通过 Softmax Jacobian 零空间对 attention-logit 梯度的结构性抑制而加剧。为解决此问题，我们提出了均值-方差分裂残差，将单独获得的中心化残差更新与泄漏主干均值替换相结合。在 400 层单流 DiT 上，MV-Split 阻止了导致未稳定基线崩溃的发散性崩溃；它紧贴基线崩溃前的轨迹，同时在整个调度过程中显著优于诸如 LayerScale 等 token 各向同性门控方法。最后，我们提出了一个 1000 层 DiT 作为边界尺度下的规模验证运行，确立了该架构在极端深度下仍可稳定训练。