桥接内部概率与自洽性以实现有效且高效的大语言模型推理

大语言模型 (LLM) 的最新进展展示了卓越的推理能力。然而，对于复杂的推理任务，单次推理通常会产生不可靠的结果，这促使研究人员通过困惑度和自洽性等方法来探索多条推理路径。在本文中，我们首次对这些技术进行了理论误差分解分析，将其误差分解为估计误差和模型误差。我们的分析揭示了一个根本性的权衡：困惑度方法由于缺乏适当的自洽性函数而遭受显著的模型误差，而自洽性则由于误差收敛速度慢而表现出较高的估计误差。为了克服这些限制，我们提出了推理剪枝困惑度自洽性 (RPC)。该方法结合了困惑度自洽性（将 LLM 困惑度与自洽性无缝集成）和推理剪枝（消除低概率推理路径以有效防止估计误差降低的退化）。理论分析表明，RPC 不仅将估计误差的收敛速度加速到指数级别，还具有进一步降低模型误差的强大潜力。在七个基准数据集上的广泛实证评估证实，RPC 可以显著提高推理性能、样本效率和置信度可靠性。