相同几何、相反噪声：Transformer 幅度表示缺乏标量可变性
计算与语言
2026-04-07 v1 定量方法
摘要
标量可变性——即表示性噪声随幅度比例缩放，产生常数变异系数的现象——是生物学幅度系统的标志性特征。我们测试了 Transformer 语言模型是否表现出这一特征，通过分析 26 个数值幅度在三个 7-8B 参数模型 (Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.3、Llama-3-8B-Base) 上隐藏状态表示在载体句子中的离散程度 (数据来源于 Cacioli, 2026)。我们发现相反的结果：表示性可变性随幅度轴上的幅度而减小 (缩放指数 alpha 约为 -0.19；0/16 主层中 alpha > 0 的比例，三个模型均如此)。在全维空间 (alpha 约为 -0.04) 和句子身份校正后 (alpha 约为 -0.007) 均如此。反标量模式在幅度轴上比正交维度强 3-5 倍，且语料库频率强烈预测单一幅度的可变性 (rho = .84)。这些结果表明，仅靠分布式学习不足以产生标量可变性：transformer 复现了 log 压缩的幅度几何，但未复现生物系统中观察到的常数-CV 噪声特征。
引用
@article{arxiv.2604.04469,
title = {Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability},
author = {Jon-Paul Cacioli},
journal= {arXiv preprint arXiv:2604.04469},
year = {2026}
}
备注
7 pages, 5 figures, 1 table. Pre-registered on OSF (osf.io/w4892). Companion to arXiv:2603.20642