MeTHanol：模块化思考语言模型，具中间层思考、解码与自举推理
计算与语言
2026-04-30 v6 人工智能
机器学习
摘要
当前研究致力于通过提示、数据驱动的涌现及推理时间计算来提升大型语言模型(LLM)的思考与推理能力。在本研究中，我们从模块化角度出发，模拟人类大脑结构来激发语言模型的思考与认知能力。我们选取特定的中间注意力层并配备新实现的语言头部。通过带有(query, thought, answer)注释样本的双层微调，证明中间层也能学习解码流畅且合理的语言标记。设计了两 pass推理机制，以生成思考过程再生成正式响应。整个框架称为模块化思考语言模型(MeTHanol)，可通过Theory of Mind(ToM)和情景-based实验指示其提升了LLM的认知行为。案例研究表明，MeTHanol能够规划和自我反思，生成类人思考与答案，甚至在未见且开放领域任务中亦能如此。MeTHanol还能适应特定提示并表现为指定角色。我们的研究从模块化视角下为LLM的显著认知提升提供了潜在路径。我们的代码、模型和数据已在https://bachozean.github.io/methanol-page 上提供。
引用
@article{arxiv.2409.12059,
title = {MeTHanol: Modularized Thinking Language Models with Intermediate Layer Thinking, Decoding and Bootstrapping Reasoning},
author = {Ningyuan Xi and Xiaoyu Wang and Yetao Wu and Teng Chen and Qingqing Gu and Yue Zhao and Jinxian Qu and Zhonglin Jiang and Yong Chen and Luo Ji},
journal= {arXiv preprint arXiv:2409.12059},
year = {2026}
}
备注
19 pages, 7 figures. IJCNN2025