EntroCoT：基于自适应熵引导分段的链路思考提升
人工智能
2026-01-13 v3
摘要
链路思考（Chain-of-Thought, CoT）提示技术显著提升了大语言模型的数学推理能力。我们发现现有的微调数据集常常存在“答案正确但推理错误”的问题，即来自幻觉、冗余或逻辑无效的中间步骤才能得出正确的最终答案。本文提出EntroCoT，一个统一框架，用于自动识别和细化低质量的CoT监督轨迹。EntroCoT首先提出一种基于熵的机制，在不确定的环节处将推理轨迹分割为多个步骤，然后引入蒙特卡洛rollout-based机制来评估每一步的边际贡献。通过准确过滤欺骗性推理样本，EntroCoT构建了一个每个中间步骤都有助于最终答案的高质量数据集。大量实验表明，在数学基准测试上，使用EntroCoT构建的子集进行微调，持续优于基于完整数据集监督的基线方法。
引用
@article{arxiv.2601.03769,
title = {EntroCoT: Enhancing Chain-of-Thought via Adaptive Entropy-Guided Segmentation},
author = {Zihang Li and Yuhang Wang and Yikun Zong and Wenhan Yu and Xiaokun Yuan and Runhan Jiang and Zirui Liu and Tong Yang and Arthur Jiang},
journal= {arXiv preprint arXiv:2601.03769},
year = {2026}
}