Brainstacks：通过冻结的 MoE-LoRA 堆栈实现跨域认知能力的持续 LLM 学习

我们提出 Brainstacks，这是一种用于大语言模型持续多域微调的模块化架构，将领域知识包装为在推理时与共享的冻结基础模型上叠加的冻结适配器堆栈。包含五个相互交织的组件：（1）采用 Shazeer 风格的噪声 top-2 路由的 MoE-LoRA，覆盖所有七个 transformer 投影，采用 QLoRA 4 位量化和 rsLoRA 比例缩放；（2）执行残差提升的内层循环，通过冻结已训练的堆栈并添加新的堆栈来实现；（3）执行按课程排序依赖关系的外层循环，对序列的、域特定的堆栈进行训练；（4）通过随机 SVD 实现的零空间投影，约束新的堆栈位于先前方向的正交子空间，从而在隔离情况下实现零遗忘；（5）基于经验发现的域组合目标训练的基于结果的 sigmoid 元路由器，选择性地加权堆栈，实现跨域组合。两个边界实验：（6）PSN 在随机初始化的模型上进行预训练；（7）每个域的 RL（DPO/GRPO）验证与后 SFT 对齐的兼容性。在 TinyLlama-1.1B（4 个域，9 个堆栈）和 Gemma 3 12B IT（5 个域，10 个堆栈）上进行验证，MoE-LoRA 实现比参数匹配的单一 LoRA 快 2.5 倍的收敛速度，残差提升突破了单堆栈的限制，路由化系统恢复了因未加权堆栈积累破坏的生成质量。核心发现：基于结果的路由器发现域堆栈编码的是可迁移的认知原语（指令遵循清晰度、数值推理、程序逻辑、链律结构），而非域特定知识；尽管这些堆栈中没有医学数据，医学提示在 97% 的情况下路由到聊天+数学堆栈。