面向增强链式思考推理的语言模型特征提取与驾驭
计算与语言
2025-07-15 v4 机器学习
摘要
大语言模型 (LLM) 采用链式思考 (CoT) 技术能够解决推理和数学问题。Expanding CoT 长度（如 DeepSeek-R1 中所示）可显著增强复杂问题的推理能力，但需要高质量的昂贵长链式思考数据和微调。本工作受 DeepSeek-R1 深度思考范式的启发，采用驾驭技术提升语言模型的推理能力，而无需外部数据集。我们的 метод首先利用稀疏自动编码器 (SAE) 从基础 CoT 中提取可解释特征。这些特征随后用于在生成过程中驾驶 LLM 的内部状态。鉴于许多 LLM lacks 对应的预训练 SAEs，我们进一步引入一种新型无 SAE 驾驶算法，直接从 LLM 的残差激活中计算驾驶方向，从而无需显式的 SAE。实验结果表明，我们的 SAE 基于方法和后续的无 SAE 驾驶算法均显著提升了 LLM 的推理能力。
引用
@article{arxiv.2505.15634,
title = {Feature Extraction and Steering for Enhanced Chain-of-Thought Reasoning in Language Models},
author = {Zihao Li and Xu Wang and Yuzhe Yang and Ziyu Yao and Haoyi Xiong and Mengnan Du},
journal= {arXiv preprint arXiv:2505.15634},
year = {2025}
}