AI模型推理能力及其量化方法

大语言模型(LLMs)的最新进展加剧了关于其推理能力本质的讨论。虽然在GPQA和MMLU等基准测试中取得高性能，但这些模型在更复杂的推理任务中存在局限性，凸显需要更严格评估方法论的需求。我们提出一种新颖的现象学方法，超越传统准确率指标，探索模型行为的底层机制，建立一个可能深远影响我们分析和理解AI系统的框架。我们以多选题推理任务中的位置偏差为案例，展示如何通过系统性扰动揭示模型决策的基本方面。为分析这些行为，我们发展了两种互补的现象学模型：一种是概率混合模型(PMM)，将模型响应分解为推理、记忆和猜测三个组成部分；另一种是信息论一致性(ITC)分析，量化模型置信度与策略选择之间的关系。通过对推理基准的受控实验，我们表明当前模型仍难以实现真正的推理，所谓的成功往往依赖于记忆和模式匹配的精妙组合，而非真正的逻辑推导。更根本地，我们展示准确率往往会高估模型的推理能力，由于模型行为可通过认知策略相空间中的底层机制进行特征化，揭示了模型在响应查询时如何动态平衡不同方法。该框架为实际部署提供量化标准，允许应用基于策略分布而非整体绩效指标指定可靠性阈值。