认知理器混合模型：基于大脑类专业化的模块化推理
机器学习
2026-04-14 v3
摘要
人类认知行为源于专门化的大脑网络相互作用，这些网络负责语言、逻辑和社交推理等 distinct 功能。致力于此组织方式，我们提出认知理器混合模型（MiCRo）：一种模块化的基于Transformer的架构，通过 curriculum 后训练诱导功能专家化。具体而言，我们将预训练语言模型的层划分为四个专家模块，对应人类大脑中已研究的认知网络。MiCRo相对于标准语言模型具有三大优势：（1）专家化的专家可解释且具有因果意义——消除特定模块会在需要其专门领域的基准测试中造成显著下降。（2）MiCRo的行为可通过动态路由令牌至特定专家（例如偏好社交而非逻辑推理）在推理时进行细粒度控制，从而实现对输出的精细控制。（3）MiCRo在机器学习推理基准测试（如GSM8K、BBH）和认知对齐人类行为（CogBench）方面均优于或相当于相当的基线，同时保持可解释性。综上所述，基于认知的功能专门化导致既更类人又更具可解释性的模型。
引用
@article{arxiv.2506.13331,
title = {Mixture of Cognitive Reasoners: Modular Reasoning with Brain-Like Specialization},
author = {Badr AlKhamissi and C. Nicolò De Sabbata and Greta Tuckute and Zeming Chen and Martin Schrimpf and Antoine Bosselut},
journal= {arXiv preprint arXiv:2506.13331},
year = {2026}
}
备注
ICLR 2026. Project Page at https://cognitive-reasoners.epfl.ch