通过人类视角探究大型推理模型的“心灵”
人工智能
2025-12-02 v1 计算与语言
摘要
大型推理模型（LRM）因其在解决复杂任务方面的卓越能力而受到研究者的广泛关注。鼓励其推理过程中的类人行为，本文引入了一套完整的分类法来刻画原子推理步骤，探究LRM智能的“心灵”。具体包括五大组、十七个类别，源自人类心理过程，为从跨学科视角理解LRM提供了基础。随后将该分类法应用于当前LRM，构建了包含277,534个原子推理步骤的标注数据集。利用这一资源，我们分析当代LRM，提炼出若干可操作性建议以改进推理模型的训练和后训练。值得注意的是，我们的分析表明，常见的事后“双重检查”（自我监测评估）大多是表面化的，很少产生实质性修订。因此，激励全面多步骤反思而非简单自我监测，可能是更有效的前进路径。为配合该分类法，提出一种自动标注框架，名为CAPO，利用大型语言模型（LLM）生成基于分类法的标注。实验结果表明，CAPO在与人类专家一致性方面优于基线，促进了从人类认知视角对LRM进行可扩展且全面的分析。总之，分类法、CAPO以及衍生的洞见为理解和推进LRM推理提供了原则性、可扩展的路径。
引用
@article{arxiv.2512.00729,
title = {Probing the "Psyche'' of Large Reasoning Models: Understanding Through a Human Lens},
author = {Yuxiang Chen and Zuohan Wu and Ziwei Wang and Xiangning Yu and Xujia Li and Linyi Yang and Mengyue Yang and Jun Wang and Lei Chen},
journal= {arXiv preprint arXiv:2512.00729},
year = {2025}
}
备注
13 pages