推理轨迹的几何分析：基于哈密顿量的多跳推理有效性研究
人工智能
2025-03-11 v3 机器学习
摘要
本文提出了一种通过哈密顿力学分析语言模型中多跳推理的新方法。我们将嵌入空间中的推理链映射到哈密顿系统中，定义一种函数在推理进程（动能）与问题相关性（势能）之间进行平衡。对来自问答数据集的推理链进行分析发现，有效推理表现出较低的哈密顿能量值，代表了在信息收集与针对性解答之间的最优权衡。虽然本框架提供了复杂的可视化和量化方法，但关于“引导”或“改进”推理算法能力的论断需要更严格的实证验证，因为物理系统与推理之间的联系仍主要是隐喻性的。尽管如此，我们的分析揭示了区分有效推理的一致几何模式，表明这种受物理启发的方法为诊断工具和理解大型语言模型中推理过程的新视角提供了前景。
引用
@article{arxiv.2410.04415,
title = {Geometric Analysis of Reasoning Trajectories: A Phase Space Approach to Understanding Valid and Invalid Multi-Hop Reasoning in LLMs},
author = {Javier Marin},
journal= {arXiv preprint arXiv:2410.04415},
year = {2025}
}