通过表征工程释放大型语言模型的长思维链通用推理能力
计算与语言
2025-06-12 v2
摘要
长思维链（long CoTs）的最新进展显著提升了大型语言模型（LLMs）的推理能力。现有工作发现，长CoT推理能力可以通过仅在少数样本上进行微调来高效激发，并且可以轻松迁移到其他任务。这促使我们研究长CoT推理是否是LLMs的一项通用能力。在这项工作中，我们从表征的角度对这一问题进行了实证分析。我们发现LLMs确实将长CoT推理编码为一项通用能力，且与普通CoTs有明显的区别。此外，长CoT推理的有效迁移也需要领域特定的表征。受这些发现的启发，我们提出了GLoRE，一种新颖的表征工程方法，以释放LLMs的长CoT通用推理能力。大量实验证明了GLoRE在域内和跨域场景中的有效性和效率。
引用
@article{arxiv.2503.11314,
title = {Unlocking General Long Chain-of-Thought Reasoning Capabilities of Large Language Models via Representation Engineering},
author = {Xinyu Tang and Xiaolei Wang and Zhihao Lv and Yingqian Min and Wayne Xin Zhao and Binbin Hu and Ziqi Liu and Zhiqiang Zhang},
journal= {arXiv preprint arXiv:2503.11314},
year = {2025}
}
备注
ACL 2025