理解与驾驭推理模型在测试时期的认知行为
计算与语言
2026-01-21 v2 人工智能
机器学习
摘要
大型语言模型(LLMs)常常依赖长链式思维(CoT)推理以解决复杂任务。虽然有效，但这些轨迹常常效率低下，导致因生成过多标记而产生高延迟，或因推理不稳定而出现问题，即在低效模式之间交替：既出现低效的浅层、不一致步骤(低效推理)，也出现低效的重复、冗长推理(高效推理)。本文我们研究了推理轨迹的结构，发现存在专门的注意力头与特定认知行为相关，如验证和回溯。通过在推理时轻微干预这些注意力头，我们可以将模型引导远离低效模式。基于这一洞察，我们提出了CREST方法，用于测试时的认知推理驾驭。CREST包含两个组件：(1) 一个离线校准步骤，用于识别认知注意力头并推导出特定于注意力头的驾驶向量；(2) 一个推理时的程序，用于旋转隐藏表示以抑制沿这些向量的分量。CREST可适应性地抑制不生产性的推理行为，既提高了准确率，又降低了计算成本。在多样化的推理基准和模型上，CREST将准确率提升最高可达17.5%，同时将标记用量降低37.6%，为更快、更可靠的LLM推理提供一条简单有效的途径。
引用
@article{arxiv.2512.24574,
title = {Understanding and Steering the Cognitive Behaviors of Reasoning Models at Test-Time},
author = {Zhenyu Zhang and Xiaoxia Wu and Zhongzhu Zhou and Qingyang Wu and Yineng Zhang and Pragaash Ponnusamy and Harikaran Subbaraj and Jue Wang and Shuaiwen Leon Song and Ben Athiwaratkun},
journal= {arXiv preprint arXiv:2512.24574},
year = {2026}
}