Mela：基于转换假设的测试时记忆巩固

记忆巩固，即将瞬时经验转化为稳定、结构化表征的过程，是人类大脑中的一个基本组织原则，然而在现代序列模型的设计中仍鲜有探索。本文我们利用记忆巩固的 established neuroscience 理论和跨频率耦合，提出层次化记忆模块（HMM），由两个在不同更新频率下工作的功能上异构子模块组成。受转换假设启发，低频子模块产生捕捉抽象、概念级知识的高层表征，而高频子模块产生保留更丰富情节细节的细粒度表征。最终记忆输出作为上下文依赖性组合两种表征的动态重构，类似于人类记忆检索的重构本质。我们将 HMM 集成到基于 Transformer 的语言解码器中，形成 Mela 系列的记忆增强语言模型，在测试时进行在线记忆巩固。为进一步利用 HMM 产生的多粒度记忆表征，我们引入 MemStack，将不同层次的记忆特征分布到解码器的早期层，无需引入额外 token。在语言建模实验中，Mela 在所有模型规模上均优于 Transformer 基线。此外，在上下文长度为 4K 时固定预训练的情境长度下，Mela 能在显著更长的情境上保持性能，而 Transformer 基线在其训练长度之外迅速恶化。广泛的消失实验证明了每个组件的贡献，并为实际配置提供指导。