语言方向如何在多语言 LLM 的标记几何中对齐

多语言 LLM 在 diverse 语言上表现出强大的性能，但对如何在其内部表示空间中结构化语言信息以及其在各层中如何出现的系统性分析仍有限。我们对六个多语言 LLM 进行了全面探针研究，覆盖全部 268 个 transformer 层，运用线性和非线性探针，以及新的 Token--Language Alignment 分析来量化层级动态和语言编码的几何结构。我们的结果表明，语言信息在第一个 transformer 块中即尖锐分离（从 Layer 0 到 Layer 1 差异为 $76.4\pm8.2$ 个百分点），并在模型深度中几乎完全保持线性可分离性。我们进一步发现，语言方向与词汇嵌入的对齐程度与训练数据的语言组成强相关。值得注意的是，包含中文的模型在 ZH Match@Peak 上达到 16.43\%，而以英语为中心的模型仅为 3.90\%，揭示了 4.21 倍的结构铭记效应。这些发现表明，多语言 LLM 并非通过表面脚本特征区分语言，而是通过由训练语料库塑造的潜在表示结构来区分语言。我们的分析为数据组成策略和多语言表示学习中的公平性提供了实用见解。所有代码和分析脚本均公开于：https://github.com/thisiskorea/How-Language-Directions-Align-with-Token-Geometry-in-Multilingual-LLMs。