CoT 向量：传递与探测大语言模型推理机制
计算与语言
2025-10-02 v1
摘要
链条思维（Chain-of-Thought, CoT）提示方法已成为增强大语言模型（Large Language Model, LLM）推理能力的强大方法。然而，现有的实现方式，如基于情境学习和微调，成本高昂且效率低下。为在更低成本下提升 CoT 推理能力，本文灵感来自任务向量范式，引入 CoT 向量，这是一种编码通用、多步骤推理知识的紧凑表示。通过对提取的 CoT 向量进行实验，我们观察到显著的层级不稳定性，表现为反映 LLM 系统性三阶段推理过程的 U 型性能曲线。为解决这一局限性，我们提出了可学习的 CoT 向量，在教师-学生框架下进行优化，以提供更稳定和更稳健的指导。广泛的评估在多个基准和模型上表明，CoT 向量不仅优于现有基线方法，还在要求更少的可训练参数的情况下，实现了与参数高效微调方法相当的性能。此外，将 CoT 向量用作探针，我们发现其有效性因潜在空间结构、信息密度、获取机制和预训练差异而异，为理解 LLM 中多步骤推理的功能组织提供了新的见解。该源代码将公开发布。
关键词
引用
@article{arxiv.2510.00579,
title = {CoT Vectors: Transferring and Probing the Reasoning Mechanisms of LLMs},
author = {Li Li and Ziyi Wang and Yongliang Wu and Jianfei Cai and Xu Yang},
journal= {arXiv preprint arXiv:2510.00579},
year = {2025}
}
备注
22 pages, 7 figures