从系统 1 到系统 2：推理大型语言模型综述
人工智能
2025-06-26 v6
摘要
实现人类水平的智能需要完善从快速、直觉的系统 1 到较慢、更深思熟虑的系统 2 推理的过渡。系统 1 擅长快速、启发式的决策，而系统 2 依赖逻辑推理以做出更准确的判断并减少偏差。基础大型语言模型擅长快速决策，但缺乏复杂推理所需的深度，因为它们尚未完全采用真正系统 2 思维所特有的逐步分析。最近，诸如 OpenAI 的 o1/o3 和 DeepSeek 的 R1 等推理 LLM 在数学和编程等领域展现出了专家级的性能，紧密模仿了系统 2 的深思熟虑推理，并展示了类人的认知能力。本综述首先简要概述了基础 LLM 的进展和系统 2 技术的早期发展，探讨了它们的结合如何为推理 LLM 铺平了道路。接下来，我们讨论了如何构建推理 LLM，分析了它们的特征、实现高级推理的核心方法以及各种推理 LLM 的演变。此外，我们概述了推理基准，对代表性推理 LLM 的性能进行了深入比较。最后，我们探索了推进推理 LLM 的有前景的方向，并维护了一个实时的 GitHub 仓库以跟踪最新发展。我们希望本综述能成为激发创新并推动这一快速发展领域进步的宝贵资源。
关键词
引用
@article{arxiv.2502.17419,
title = {From System 1 to System 2: A Survey of Reasoning Large Language Models},
author = {Zhong-Zhi Li and Duzhen Zhang and Ming-Liang Zhang and Jiaxin Zhang and Zengyan Liu and Yuxuan Yao and Haotian Xu and Junhao Zheng and Pei-Jie Wang and Xiuyi Chen and Yingying Zhang and Fei Yin and Jiahua Dong and Zhiwei Li and Bao-Long Bi and Ling-Rui Mei and Junfeng Fang and Xiao Liang and Zhijiang Guo and Le Song and Cheng-Lin Liu},
journal= {arXiv preprint arXiv:2502.17419},
year = {2025}
}
备注
Slow-thinking, Large Language Models, Human-like Reasoning, Decision Making in AI, AGI