通过 Thalamically Routed Cortical Columns 实现语言模型高效持续学习
机器学习
2026-04-20 v6
摘要
部署在野外的大型语言模型必须能够在不擦除先前已获取能力的前提下适应不断演变的数据、用户行为和任务混合。在实际中，这仍然困难：顺序更新会诱导灾难性遗忘，而许多稳定方法依赖于成本高、脆弱或难以扩展的外部程序。我们提出 TRC (Thalamically Routed Cortical Columns)，一种 decoder-only 架构，使持续学习成为背板本身的属性。TRC 将堆叠的皮层柱与用于选择性柱间通信的丘脑调制通路相结合，以及用于事件选择性检索、延迟惊讶写入和基于回放的整合的海马体通路。该设计局部化快速可塑性，同时保留较慢稳定的计算通路。我们进一步引入因果记忆更新方案和在线回放控制器，从测量的遗忘中调整整合强度。在 C4、WikiText-103 和 GSM8K 上的任务序列语言建模流中，TRC consistently 改进任务边界建模质量，显著降低累积遗忘，相对于 Transformer、Mamba、MoE、DeepSeek 和在相同管道下训练的持续学习基线。消融实验表明，丘脑和海马体组件对保留收益至关重要，而完整模型在吞吐量和训练成本方面仍与竞争。
引用
@article{arxiv.2602.22479,
title = {Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns},
author = {Afshin Khadangi},
journal= {arXiv preprint arXiv:2602.22479},
year = {2026}
}