中文

理性几何:有效数学推理的谱特征

机器学习 2026-01-05 v1 人工智能 计算与语言 计算机科学中的逻辑

摘要

我们提出一种无需训练的方法,通过注意力模式的谱分析来检测大型语言模型中的有效数学推理。将注意力矩阵视为动态图中节点之间的邻接矩阵,从而提取四种可解释的谱诊断工具:Fiedler值(代数连通性)、高频能量比(HFER)、图信号平滑性和谱熵,这些指标在有效与无效数学证明之间表现出统计显著差异。实验覆盖来自Meta Llama、Alibaba Qwen、Microsoft Phi和Mistral AI四个独立架构家族的七个Transformer模型,结果显示该谱特征可实现最高达Cohen's d = 3.30(p < 10^{-116})的效应大小,在严格评估下实现85.0%至95.6%的分类准确率,校准阈值在完整数据集上达到93%至95%。该方法无需训练数据、微调或学习分类器:仅凭一个谱量标的阈值即可实现高精度。通过系统性标签纠正,我们发现该谱方法检测的是逻辑一致性而非编译器接受情况,识别出因技术故障而被形式验证器拒绝的数学有效证明。我们进一步识别出一种架构依赖性:Mistral-7B的滑动窗口注意力将判别信号从HFER转移到后期图平滑性(d = 2.09, p_{MW} = 1.16 × 10^{-48}),揭示注意力机制的设计会影响哪些谱特征捕捉推理有效性。这些发现确立了谱图分析作为推理验证的原则框架,具有及时应用于幻觉检测和AI安全监控的前景。

关键词

引用

@article{arxiv.2601.00791,
  title  = {Geometry of Reason: Spectral Signatures of Valid Mathematical Reasoning},
  author = {Valentin Noël},
  journal= {arXiv preprint arXiv:2601.00791},
  year   = {2026}
}

备注

58 pages, 19 figures, Under Review