MIDUS：记忆嵌入深度扩展
机器学习
2026-05-12 v2 人工智能
摘要
通过扩展预训练语言模型是一种实用的方法，可在不从头训练更大模型的情况下提高容量。深度扩展（Depth Up-Scaling, DUS）通过复制Transformer块并将其插入预训练主干网络来实现这一点。这一过程还会复制FFN重度块，增加参数和计算成本，同时通过块级稠密残差分支添加容量。然而， prior work 表明，额外的容量不必保持与密集FFN分支绑定，注意力头往往扮演异构角色，这就激发了更高效的头级残差纠正的动机。我们提出记忆嵌入深度扩展（Memory-Infused Depth Up-Scaling, MIDUS），它将重复的FFN分支替换为记忆层，并将添加的深度转化为轻量级基于检索的残差容量。我们引入了头级记忆层（Head-wise Memory Layer, HML），它结合了多头产品-键记忆与头级隐式值扩张（Head-wise Implicit Value Expansion, HIVE）。HML为每个头分配独立的键空间，而HIVE通过紧凑投影从共享潜在库中实现特定于头的值。除了在性能和效率方面的经验性改进外，我们的头重要性和固定检索结构分析将HML与HIVE表述为FFN-based残差扩展的结构上独特的、特定于头的替代方案。
关键词
引用
@article{arxiv.2512.13751,
title = {MIDUS: Memory-Infused Depth Up-Scaling},
author = {Taero Kim and Hoyoon Byun and Youngjun Choi and Sungrae Park and Kyungwoo Song},
journal= {arXiv preprint arXiv:2512.13751},
year = {2026}
}