VocabTailor：面向小语言模型下游任务的动态词汇选择
计算与语言
2026-04-21 v3 人工智能
机器学习
摘要
小语言模型（SLM）在资源受限环境中提供了计算优势，然而内存限制仍然是边缘设备部署的关键瓶颈。SLM 内存占用的很大一部分源于词汇相关组件，特别是由于词汇量庞大导致的嵌入层和语言建模（LM）头。现有的静态词汇剪枝虽然减少了内存使用，但存在僵化、一刀切的设计，导致预填充阶段的信息丢失且缺乏灵活性。在本工作中，我们识别了词汇缩减挑战背后的两个关键原则：词汇局部性原则，即观察到任何单次推理过程中只需要一小部分词元；以及 SLM 词汇相关组件之间计算特性的不对称性。基于这些见解，我们引入了 VocabTailor，一种新颖的解耦动态词汇选择框架，它通过卸载嵌入来解决内存限制，并为 LM 头实现了一种混合静态-动态词汇选择策略，从而实现了词汇组件的按需加载。跨多种下游任务的综合实验表明，VocabTailor 在任务性能下降极小甚至无下降的情况下，将词汇相关组件的内存使用量减少了高达 99%，显著优于现有的静态词汇剪枝方法。我们的代码可在 https://github.com/AwakenedInsects/VocabTailor 获取。
引用
@article{arxiv.2508.15229,
title = {VocabTailor: Dynamic Vocabulary Selection for Downstream Tasks in Small Language Models},
author = {Hanling Zhang and Yayu Zhou and Tongcheng Fang and Zhihang Yuan and Guohao Dai and Wanli Ouyang and Yu Wang},
journal= {arXiv preprint arXiv:2508.15229},
year = {2026}
}