ThinkPatterns-21k：系统性研究思考模式对大语言模型影响
计算与语言
2026-03-12 v2
摘要
大语言模型（LLMs）通过“思考后响应”范式（即 System 2 思维）表现出增强的性能，但现有研究缺乏对思考模式如何影响不同模型规模性能的机制进行系统性理解的研究。本文我们对各种思考类型对模型性能影响进行全面分析，介绍 ThinkPatterns-21k 数据集，包含来自现有指令遵循数据集的 21k 条指令-响应对（QA），包括五种思考类型。对于每一对，我们以相同的指令和响应为基础，增添五种不同的内部思考模式：一种非结构化思考（独白）和四种结构化变体（分解、自询问、自辩论和自批判）。通过在不同模型规模（3B-32B 参数）上的广泛评估，我们有两个关键发现：（1）较小的模型（<30B 参数）可从大多数结构化思考模式中受益，而较大的模型（32B）如果使用结构化思考如分解，则会性能下降；（2）非结构化独白在不同模型规模上均表现出广泛有效性。最后，我们发布了我们收集的、用于可重复性研究的所有数据集、模型检查点和多样化思考模式的训练日志。
引用
@article{arxiv.2503.12918,
title = {ThinkPatterns-21k: A Systematic Study on the Impact of Thinking Patterns in LLMs},
author = {Pengcheng Wen and Jiaming Ji and Chi-Min Chan and Juntao Dai and Donghai Hong and Yaodong Yang and Sirui Han and Yike Guo},
journal= {arXiv preprint arXiv:2503.12918},
year = {2026}
}