基于离散键值瓶颈的小型语言模型高效持续学习
计算与语言
2026-03-10 v3
摘要
持续学习在各种自然语言处理（NLP）任务中仍是一个挑战，因为随着新训练数据的更新，模型常会发生灾难性遗忘。我们提出了一种离散键值瓶颈（DKVB）用于 encoder-only 语言模型，通过局部更新实现高效持续学习。受视觉中离散键值瓶颈的启发，我们考虑了新的 NLP 挑战。我们比较了 NLP 中不同的瓶颈架构，并引入了一种新的、与任务无关的离散键初始化技术。我们在四个持续学习场景中评估了 DKVB 在 NLP 上的应用，表明其有效缓解了灾难性遗忘。我们的实验显示，所提出的方法在性能上与流行的持续学习方法相当，同时具有更低的计算成本。此外，我们展示了 DKVB 在没有提供任务 ID 的具有挑战性的单头持续学习场景中仍然有效。
引用
@article{arxiv.2412.08528,
title = {Efficient Continual Learning for Small Language Models with a Discrete Key-Value Bottleneck},
author = {Andor Diera and Lukas Galke and Fabian Karl and Ansgar Scherp},
journal= {arXiv preprint arXiv:2412.08528},
year = {2026}
}