链路思考在从大型语言模型提炼推理能力方面的有效性
计算与语言
2025-11-10 v1
摘要
链路思考（Chain-of-Thought，CoT）是提高大型语言模型（LLM）推理能力的常用方法。最近，CoT被用于知识蒸馏（KD）中，将推理能力从更大的模型转移到更小的模型。本文examines CoT在使用白盒KD从更大的LLM提炼推理能力给更小的LLM方面的作用，分析其在提高提炼模型在各种自然语言推理和理解任务上的性能方面的有效性。我们使用来自Qwen和Llama2系列的LLMs进行白盒KD实验，采用来自CoT-Collection数据集的CoT数据。提炼的模型随后在来自BIG-Bench-Hard（BBH）基准的自然语言推理和理解任务上进行评估，BBH为更小的LLMs提出了复杂挑战。实验结果表明，CoT在提高白盒KD的有效性方面发挥着重要作用，使提炼的模型在BBH来源的自然语言推理和理解任务上实现平均性能的提升。
引用
@article{arxiv.2511.05184,
title = {Effectiveness of Chain-of-Thought in Distilling Reasoning Capability from Large Language Models},
author = {Cong-Thanh Do and Rama Doddipatla and Kate Knill},
journal= {arXiv preprint arXiv:2511.05184},
year = {2025}
}
备注
In proceedings of the 18th International Natural Language Generation Conference (INLG 2025)