简洁思维链在大语言模型问题求解中的优势
计算与语言
2025-03-17 v3 人工智能
摘要
本文提出简洁思维链（Concise Chain-of-Thought, CCoT）提示方法。我们比较了标准思维链（CoT）与CCoT提示，以考察简洁性如何影响响应长度和正确答案准确率。我们使用GPT-3.5和GPT-4，在一个多项选择题问答（MCQA）基准上进行了评估。CCoT使GPT-3.5和GPT-4的平均响应长度均减少了48.70%，而对问题求解性能的影响可忽略不计。然而，在数学问题上，使用CCoT的GPT-3.5性能下降了27.69%。总体而言，CCoT使平均每词元成本降低了22.67%。所有代码、数据和补充材料均可在GitHub上获取：https://github.com/matthewrenze/jhu-concise-cot
引用
@article{arxiv.2401.05618,
title = {The Benefits of a Concise Chain of Thought on Problem-Solving in Large Language Models},
author = {Matthew Renze and Erhan Guven},
journal= {arXiv preprint arXiv:2401.05618},
year = {2025}
}