语言统计中的对称性塑造模型表示的几何结构
机器学习
2026-02-27 v2 无序系统与神经网络
计算与语言
摘要
语言模型所学习的内部表示持续表现出显著的几何结构：日历月份组织成圆环，历史年份形成光滑的一维流形，城市纬度经度可通过线性探针解码。为解释此神经编码，我们首先展示语言统计具有平移对称性（例如，任意两个月在文本中共现频率仅取决于它们之间的时间间隔）。我们证明这种对称性支配高维词嵌入模型中这些几何结构，并对词表示的流形几何进行解析推导。这些预测在大规模文本嵌入模型和大语言模型中得到实证验证。此外，即使在扰动相关统计（例如删除两个月共现的句子）后，表征流形仍在中等嵌入维度下保持鲁棒性。我们证明当共现统计由潜在变量控制时，这种鲁棒性自然出现。这些结果表明，表征流形具有普遍来源：自然数据统计中的对称性。
引用
@article{arxiv.2602.15029,
title = {Symmetry in language statistics shapes the geometry of model representations},
author = {Dhruva Karkada and Daniel J. Korchinski and Andres Nava and Matthieu Wyart and Yasaman Bahri},
journal= {arXiv preprint arXiv:2602.15029},
year = {2026}
}