推理的几何：表示空间中的逻辑流

我们研究大型语言模型（LLM）如何通过其表示空间进行“思考”。我们提出了一种新颖的几何框架，将LLM的推理建模为流——嵌入轨迹随逻辑演进而演化。通过使用具有不同语义载体的相同自然演绎命题，我们将逻辑结构与语义分离，从而能够测试LLM是否内化了超越表面形式的逻辑。这一视角将推理与位置、速度和曲率等几何量联系起来，使得在表示空间和概念空间中进行形式化分析成为可能。我们的理论确立了：(1) LLM推理对应于表示空间中的平滑流，(2) 逻辑陈述作为这些流速度的局部控制器。利用学习到的表示代理，我们设计了受控实验来可视化和量化推理流，为我们的理论框架提供了实证验证。我们的发现表明，仅通过下一个词预测进行训练可以使LLM将逻辑不变量内化为表示空间中的高阶几何，这挑战了“随机鹦鹉”论点。在Qwen和LLaMA模型系列上的实验进一步表明，存在一种普遍的、可能具有通用性的表示定律，它构成了机器理解和人类语言规律的基础，并且在很大程度上独立于特定的训练方案或模型架构。我们的工作既为研究推理现象提供了概念基础，也提供了实用工具，为LLM行为的可解释性和形式化分析提供了新视角。