SPARK：大型语言模型中潜在推理状态的敏感性引导分析与调控
人工智能
2026-07-11 v1 计算与语言
摘要
大型语言模型（LLM）的推理失败通常从最终答案进行评估，但错误答案并不能揭示模型失败的原因。相同的错误输出可能反映了能力缺失、不稳定的推理轨迹，或者未能激活冻结模型中已有的推理状态。现有的提示和基于基准的评估方法大多在输出层面运作，而通用的激活调控方法通常应用全局方向，而不诊断哪些示例需要干预。在本文中，我们介绍了SPARK，它利用隐藏状态响应来诊断模型是否在内部进入有效的推理状态，并指导轻量级的测试时调控。关键观察是，原始隐藏状态敏感性与提示长度强烈混淆，尤其是在程序化和算法推理中，更难的序列化实例自然变得更长。因此，SPARK使用长度控制的敏感性来区分输入尺度效应和残余推理激活，并将此信号与跨层协调相结合，以选择推理活跃的锚点和激活不足的困难示例。我们使用FRONTIER-4.5K作为受控的程序化推理套件进行潜在分析和难度感知分析，并在GSM8K和MATH-500上使用仅前向基准分析评估SPARK-Steering。我们的方法一致地改进了Qwen3系列模型；在MATH-500上，Qwen3-4B的准确率从82.0%提高到84.6%，Qwen3-8B从82.4%提高到85.6%。这些结果表明，敏感性不仅可以作为推理失败的诊断信号，还可以作为针对性测试时干预的实用指南。
引用
@article{arxiv.2607.10296,
title = {SPARK: Susceptibility-Guided Profiling and Steering of Latent Reasoning States in Large Language Models},
author = {Dongxu Zhang and Yiding Sun and Zihao Guo and Xiangyang Yang and Kai Tang and Lin Chen and Cheng Tan and Jihua Zhu},
journal= {arXiv preprint arXiv:2607.10296},
year = {2026}
}