推理的形状：大语言模型中推理轨迹的拓扑分析

评估大语言模型推理轨迹的质量仍然是一个研究不足、劳动密集且不可靠的问题：当前实践依赖于专家评分标准、人工标注和缓慢的成对判断。自动化努力主要被基于图的代理所主导，这些代理量化结构连通性，但并未阐明什么构成高质量推理；这种抽象对于本质上复杂的过程可能过于简单。我们引入了一个基于拓扑数据分析（TDA）的评估框架，该框架捕捉推理轨迹的几何形状，并实现标签高效、自动化的评估。在我们的实证研究中，拓扑特征在评估推理质量方面产生了比标准图指标显著更高的预测能力，这表明有效的推理更适合由高维几何结构而非纯关系图来捕捉。我们进一步表明，一组紧凑、稳定的拓扑特征可靠地指示了轨迹质量，为未来的强化学习算法提供了一个实用信号。