LLM 嵌入空间中的离散语义状态与哈密顿动力学
机器学习
2026-01-21 v1 人工智能
摘要
我们使用数学概念，特别是线性代数和哈密顿形式体系，并从与量子力学系统的类比中汲取灵感，研究了大语言模型（LLM）嵌入空间的结构。基于观察到 LLM 嵌入表现出不同的状态（表明离散的语义表示），我们探索了这些数学工具在分析语义关系中的应用。我们证明，L2 归一化约束（许多 LLM 架构的特征）产生了一个适合使用哈密顿形式体系进行分析的结构化嵌入空间。我们推导了余弦相似度与嵌入向量扰动之间的关系，并探索了直接和间接的语义转换。此外，我们探索了一种量子启发的视角，推导了零点能的类比并讨论了与 Koopman-von Neumann 力学的潜在联系。尽管这种解释需要谨慎对待，但我们的结果表明，该方法为深入理解 LLM 提供了一条有前景的途径，并有可能为缓解幻觉提供新方法。
引用
@article{arxiv.2601.11572,
title = {Discrete Semantic States and Hamiltonian Dynamics in LLM Embedding Spaces},
author = {Timo Aukusti Laine},
journal= {arXiv preprint arXiv:2601.11572},
year = {2026}
}
备注
23 pages, 5 figures