迈向LLM中的系统2推理：学习如何通过元思维链思考
人工智能
2025-01-09 v1 计算与语言
摘要
我们提出了一种新颖框架——元思维链（Meta-CoT），它通过显式建模得出特定思维链所需的底层推理过程，扩展了传统的思维链（CoT）。我们提供了来自最先进模型的实证证据，这些模型表现出与上下文搜索一致的行为，并探索了通过过程监督、合成数据生成和搜索算法生成元思维链的方法。最后，我们概述了一个具体的流水线，用于训练模型生成元思维链，包括使用线性化搜索轨迹进行指令微调和强化学习后训练。最后，我们讨论了开放的研究问题，包括缩放定律、验证器角色以及发现新颖推理算法的潜力。这项工作为在LLM中实现元思维链提供了理论和实践路线图，为人工智能中更强大、更类人的推理铺平了道路。
引用
@article{arxiv.2501.04682,
title = {Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Thought},
author = {Violet Xiang and Charlie Snell and Kanishk Gandhi and Alon Albalak and Anikait Singh and Chase Blagden and Duy Phung and Rafael Rafailov and Nathan Lile and Dakota Mahan and Louis Castricato and Jan-Philipp Franken and Nick Haber and Chelsea Finn},
journal= {arXiv preprint arXiv:2501.04682},
year = {2025}
}