Activation Control: 高效诱导语言模型长链条-of-thought 能力
计算与语言
2025-05-26 v1 机器学习
摘要
尽管链条-of-thought（CoT）能力在大型语言模型（LLM）中展现出惊人的推理性能，但通常需要高成本的强化学习或在高质量蒸馏数据上的监督微调才能激发其长链条能力。我们研究了这种能力背后的内部机制，表明最后几层中少数高影响力的激活主要支配了长形式推理属性，如输出长度和自我反思。通过对这些激活进行放大并插入“等待”标记，我们可以在不进行任何训练的情况下调用长 CoT 能力，从而显著提高自我反思率和准确率。此外，我们发现激活动力学遵循可预测的轨迹，在特殊标记后迅速上升，随后呈指数衰减。基于这些洞见，我们引入了一种通用的训练-free 激活控制技术。它利用少量对比示例识别关键激活，并使用简单解析函数在推理时调制其值，以激发长 CoT。广泛的实验确认了我们方法在高效诱导 LLM 长链条推理方面的有效性，并提升了其性能。此外，我们提出了一种参数高效的微调方法，只训练最后一个层的激活放大模块和少数 LoRA 层，在推理基准中 outperform full LoRA 微调，所需参数显著减少。我们的代码和数据已公开发布。
关键词
引用
@article{arxiv.2505.17697,
title = {Activation Control for Efficiently Eliciting Long Chain-of-thought Ability of Language Models},
author = {Zekai Zhao and Qi Liu and Kun Zhou and Zihan Liu and Yifei Shao and Zhiting Hu and Biwei Huang},
journal= {arXiv preprint arXiv:2505.17697},
year = {2025}
}