Lambda-Skip 连接：防止秩崩溃的架构组件

秩崩溃（rank collapse）是一种序列模型中嵌入向量快速收敛到均匀 token 或平衡状态的现象，最近在深度学习文献中受到关注。这种现象导致表达性下降以及因梯度消失而产生潜在的训练不稳定性。经验证据表明，诸如跳跃连接、LayerNorm 和多层感知机（MLP）等架构组件在缓解秩崩溃方面发挥着关键作用。虽然这一问题在 transformer 中得到了良好文献记载，但近年来日益受到关注的另一种序列模型——状态空间模型（SSM）在类似漏洞方面尚未得到充分考察。本文通过一种捕获两种架构的统一框架，扩展了从 transformer 到 SSM 的秩崩溃理论。我们研究了一种称为 \emph{lambda-skip 连接}的经参数化的经典跳跃连接组件，提供了防止秩崩溃的保证。通过分析结果，我们提出了一种保证在所有上述架构中均防止秩崩溃的充分条件。我们还通过消融研究和分析例子研究了这一条件的必要性。迄今为之，本文是首个提供防止秩崩溃通用保证并探讨 SSM 上秩崩溃情形的研究，为理论研究者和实践者提供了宝贵的理解。最后，我们通过实验验证了诸如跳跃连接和门控机制等架构组件在防止秩崩溃中的关键作用。