Transformer 注入性与几何鲁棒性 - 解析间隙与序列级隐藏状态的双 Lipschitz 均匀性

在解码器-only Transformer 上实解析假设下，最近的工作表明，从离散提示映射到最后一个词隐藏状态的映射在有限提示集合上普遍注入。在这一图景基础上，我们细化：对于每一层 $\ell$，定义碰撞判别式 $\Delta^\ell \subset \Theta$ 和注入层 $U^\ell = \Theta \setminus \Delta^\ell$，并证明一个二分法 —— 要么模型在该集合上无处注入，要么 $U^\ell$ 为开集且稠密，且每个 $F^\ell_\theta$ 均为注入。在优化器上轻微的非奇异性假设和绝对连续初始化的条件下，普遍注入性沿着平滑的训练轨迹在任意固定时域内保持不变。我们还处理对称群 $G$，表明判别式和注入层下降到商空间 $\Theta/G$，因此注入性自然是函数等价类的性质。我们补充这些结果的经验研究，探讨层级几何诊断。我们定义分离间隙和在提示空间与最后一个词表示空间之间的 co-Lipschitz（下 Lipschitz）常数，通过大规模提示集合上的最近邻统计来估计。将这些诊断应用于预训练的 LLaMA-3 和 Qwen 模型，研究跨层、序列长度、模型规模以及 8 位和 4 位激活量化的行为。在我们抽样的提示上，全精度和 8 位均无碰撞，而 4 位量化引起少数碰撞并显著缩小 co-Lipschitz 估计。对于一个从头训练的小型 GPT-2，归一化指标在训练期间保持稳定。总体而言，结果表明 Transformer 表示在连续参数理想化下普遍且持久地注入，而其实际可逆性可通过简单的几何诊断来探索。