干预性基础审计：通过谓词替换对LLM思维链进行黑盒前提依赖测试

大语言模型产生的思维链（CoT）推理在逻辑上看似合理，但可能并非真正依赖于其陈述的前提。我们引入了干预性基础审计，这是一种黑盒、步骤级的前提依赖测试：我们通过将单个前提的目标谓词替换为一个新符号来干预该前提，重新运行模型，并检查每个推理步骤的规范化结论（规范谓词形式）是否发生变化。我们在ProntoQA上进行了评估，这是一个具有黄金证明树的合成多跳演绎推理基准，其中步骤级前提依赖是已知的。应用于50个ProntoQA问题与GPT-4o，我们的方法在检测证明树依赖方面达到了F1 = 0.806（在谓词决定依赖上F1 = 0.885；召回率 = 100%），显著优于自一致性基线（F1 = 0.343；95% bootstrap置信区间不重叠）。我们进一步发现，66%的正确解决问题包含至少一个在一致替换下对直接证明树依赖不敏感的步骤——所有这些都涉及实体引入前提，这是一致替换评估器的一个已知盲点——这是一个被动方法无法看到的“答案正确，推理错误”信号。所有审计证书、原始输出和复现脚本都在公共GitHub仓库中提供，我们讨论了超出正式、可解析基准的范围限制。