解构概率置信度：最佳-N选择中的流畅性与推理问题

概率置信度指标日益被用作最佳-N选择中推理质量的代理指标，假设更高的置信度反映更高的推理保真度。在本工作中，我们挑战了这一假设，通过探讨这些指标是否真正捕捉到必要的推理步骤之间的因果依赖关系来验证。我们引入了三类步骤间因果性扰动，系统性地破坏推理步骤之间的依赖关系，同时保持局部流畅性。出乎意料地，尽管在不同模型家族和推理基准测试中，我们发现在这些扰动下，选择准确率仅出现轻微下降。即使实施严重干预（例如应用硬注意力掩码，直接防止模型注意力地访问先前的推理步骤），也不会显著降低选择性能。这些发现提供了强有力的证据表明，当前的概率指标对逻辑结构几乎不敏感，主要捕捉的是表面层次的流畅性或分布内先验。针对这一差距，我们提出了对比因果指标，该指标显式地隔离步骤间的因果依赖关系，证明它比现有的基于概率的方法在输出选择方面更具忠实性。