Locas：您模型是局部支持参数记忆的原则性初始化器
计算与语言
2026-02-06 v1
摘要
本文旨在将测试时训练与一种可灵活卸载或合并到模型参数中的参数记忆新类型相结合。我们提出了 Locas，这是一种局部支持参数记忆（Locally-Supported parametric memory），其设计类似于现代变换器中 FFN 块的结构，使其能够在保持高效持续学习能力的同时，灵活地永久性地嵌入模型参数中。我们讨论了 Locas 的两种主要变体：一种采用传统的两层 MLP 设计，具有更清晰的理论保证；另一种与 SOTA 大语言模型相同的 GLU-FFN 结构，能够轻松地附加到现有模型中，实现参数高效和计算高效的持续学习。关键的是，我们表明，对此类低秩旁路 FFN 样式记忆的适当初始化——通过复用模型参数、激活值和/或梯度以原则方式完成——对于快速收敛、改进泛化和防止灾难性遗忘至关重要。我们在 PG-19 整本书语言建模和 LoCoMo 长上下文对话问答任务上验证了所提出的记忆机制。在最低情况下的仅 0.02% 额外参数下，Locas-GLU 能够存储过去上下文的信息，同时保持much smaller的上下文窗口。此外，我们还通过比较 MMLU 评估测试了在记忆整本书后模型的通用能力损失。结果表明，Locas 在最小化模型现有内部知识的灾难性遗忘的同时，能够将过去的上下文永久性地嵌入参数化知识，具有巨大的潜在力量。
引用
@article{arxiv.2602.05085,
title = {Locas: Your Models are Principled Initializers of Locally-Supported Parametric Memories},
author = {Sidi Lu and Zhenwen Liang and Dongyang Ma and Yan Wang and Haitao Mi and Dong Yu},
journal= {arXiv preprint arXiv:2602.05085},
year = {2026}
}
备注
Tencent AI Lab Technical Report