标记签名：基于标记解码特征预测大语言模型中的链式思维收益
计算与语言
2025-06-09 v1 人工智能
摘要
链式思维（CoT）技术已证明在提高大语言模型（LLM）在复杂推理任务上的性能方面非常有效。然而，性能提升在不同任务间表现不一，其背后机制仍是长期以来的研究问题。本文我们初步观察到，标记概率分布的单调性可能与通过CoT推理所获得的收益相关。基于此洞察，我们提出两种基于标记概率分布的指标，用于评估不同任务中CoT的有效性。通过将实例级指标与逻辑回归模型结合，我们引入Dynamic CoT，即一种在CoT与直接答案之间进行动态选择的方法。进一步，我们通过将从开源模型中学习的决策策略迁移到闭源模型，扩展了Dynamic CoT。用于评估CoT有效性的指标实现了89.2%的准确率，Dynamic CoT在保持高准确率的同时，将标记消耗降低了35%以上。总体而言，本工作从CoT推理的底层机制提供了新的视角，并为其更高效的部署提供了框架。
引用
@article{arxiv.2506.06008,
title = {Token Signature: Predicting Chain-of-Thought Gains with Token Decoding Feature in Large Language Models},
author = {Peijie Liu and Fengli Xu and Yong Li},
journal= {arXiv preprint arXiv:2506.06008},
year = {2025}
}
备注
20 pages, 6 figures, 13 tables(Accept by ICML2025)